タグなしコーパスからの形態素解析情報の抽出

从未标记的语料库中提取形态分析信息

• 批准号: 08780329
• 负责人: 山本 幹雄
• 金额: $ 0.64万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08780329/
• 关键词: 自然言語処理; 日本語形態素解析; 確率的形態素解析; 隠れマルコフモデル; n-gram; ダグなしコーパス

本研究では、自然言語処理において最も基本的な形態素解析(文中の単語、品詞や活用型など同定する)に関する確率的なルールをタグなしのコーパスから学習する方法を検討した。大きく2つの手法を提案し、評価実験を行った。1つ目の手法は、本研究以前に既に提案されている1次マルコモデルを推定する方法と異なり、隠れマルコフモデルを推定する手法である。隠れマルコフモデルは2次マルコフモデルに近い性能を少ないパラメータで実現できるため、そのロバスト性において優れている。これまでの研究では実用的には1次マルコフモデルを推定できるのみであったが、より高性能なモデルをタグなしコーパスから推定することが可能となった。また、タグなしコーパスから確率モデルを推定する場合ノズルが大きな問題となるが、本研究では2つ目の提案として信頼性係数を導入し、ノイズによる影響の軽減を試みた。これは、タグなしコーパスから抽出された可能な単語連鎖に信頼性を付与することによって、信頼性の低い連鎖によるノイズを低減する手法である。以上2つの手法を実際の日本語形態素解析システムに応用し、評価を行った。この結果、信頼性係数はマルコフモデル、隠れマルコフモデルどちらのモデルに対してもタグなしコーパスから推定する場合に有効であることが分かった。また、信頼性係数を使わない状態で隠れマルコフモデルと1次マルコフモデルを比較した場合は、1次マルコフモデルの方が性能が高かった。しかし、信頼性係数が使われてある程度ノイズが押えられるとこの関係は逆転した。これは、隠れマルコフモデルは1次マルコフモデルよりもパラメータ数が多く精密なモデルであるため、ノイズに弱いためであると考えられる。

The purpose of this study is to analyze the most basic morphological elements (in the article). In this study, the most basic morphological analysis (in the article) is used to determine the accuracy of the method. There are two ways to make a proposal and to make a move. 1. In the previous study, both the proposal and the presumption method were proposed and the method of presumption was used. This is the first time that you have seen that the performance is low. You can see that the performance is not good. This is the first time that there is a presumption that there is a possibility that there is a possibility that there is a problem in the study. It is presumed that there is a problem in this study. In this study, we propose a proposal in the second chapter of this study, which requires the input of a number of information. Please tell me that it is possible to make a connection between the information and the information, the information is low, the information is low. The above 2 manoeuvres are used in the analysis of Japanese figures. The result of the test, the number of information, the number of data, the results, the results, the results, The number of information and information makes it possible to make sure that the performance is high in the first time. The number of people who believe in sex makes you feel bad that you don't know how much money you have. This is the first time that you can tell me that you have a lot of precision, and that you don't know what to do.

项目成果

Mikio Yamamoto: "A re-estimation method for stochastic language modeling from ambiguous observations" Proceedings of the Fourth Workshop on Very Large Corpora. 155-167 (1996)

Mikio Yamamoto：“根据模糊观察进行随机语言建模的重新估计方法”第四届超大型语料库研讨会论文集。