タグなしコーパスからの形態素解析情報の抽出

从未标记的语料库中提取形态分析信息

• 批准号: 08780329
• 负责人: 山本 幹雄
• 金额: $ 0.64万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08780329/
• 关键词: 自然言語処理; 日本語形態素解析; 確率的形態素解析; 隠れマルコフモデル; n-gram; ダグなしコーパス

本研究では、自然言語処理において最も基本的な形態素解析(文中の単語、品詞や活用型など同定する)に関する確率的なルールをタグなしのコーパスから学習する方法を検討した。大きく2つの手法を提案し、評価実験を行った。1つ目の手法は、本研究以前に既に提案されている1次マルコモデルを推定する方法と異なり、隠れマルコフモデルを推定する手法である。隠れマルコフモデルは2次マルコフモデルに近い性能を少ないパラメータで実現できるため、そのロバスト性において優れている。これまでの研究では実用的には1次マルコフモデルを推定できるのみであったが、より高性能なモデルをタグなしコーパスから推定することが可能となった。また、タグなしコーパスから確率モデルを推定する場合ノズルが大きな問題となるが、本研究では2つ目の提案として信頼性係数を導入し、ノイズによる影響の軽減を試みた。これは、タグなしコーパスから抽出された可能な単語連鎖に信頼性を付与することによって、信頼性の低い連鎖によるノイズを低減する手法である。以上2つの手法を実際の日本語形態素解析システムに応用し、評価を行った。この結果、信頼性係数はマルコフモデル、隠れマルコフモデルどちらのモデルに対してもタグなしコーパスから推定する場合に有効であることが分かった。また、信頼性係数を使わない状態で隠れマルコフモデルと1次マルコフモデルを比較した場合は、1次マルコフモデルの方が性能が高かった。しかし、信頼性係数が使われてある程度ノイズが押えられるとこの関係は逆転した。これは、隠れマルコフモデルは1次マルコフモデルよりもパラメータ数が多く精密なモデルであるため、ノイズに弱いためであると考えられる。

This study explores the most basic morpheme analysis methods for natural speech processing, which are related to the accuracy of speech processing. 2. Make proposals and comments. 1. The method proposed in the previous study is different from that proposed in the previous study. The second time, the second time, the third time, the third time, the fourth time, the fourth time, the fourth This study was carried out with the help of a high performance computer. In this study, we propose to introduce and reduce the influence of reliability coefficient. The method of reducing the linkage between the two groups is to reduce the linkage between the two groups. The above 2 techniques are used and evaluated in real time in Japanese morpheme analysis. The result is that the information coefficient is equal to the number of points in the case where the information coefficient is equal to the number of points in the case. For example, if you want to make a comparison, you can make a comparison between the first order and the second order. The relationship between the degree of reliability and the degree of reliability is reversed. The number of people who are interested in the game is very high.

项目成果

Mikio Yamamoto: "A re-estimation method for stochastic language modeling from ambiguous observations" Proceedings of the Fourth Workshop on Very Large Corpora. 155-167 (1996)

Mikio Yamamoto：“根据模糊观察进行随机语言建模的重新估计方法”第四届超大型语料库研讨会论文集。