種々の統計情報を統合した統計的自然言語解析に関する研究

整合各种统计信息的统计自然语言分析研究

• 批准号: 09878066
• 负责人: 田中 穂積
• 金额: $ 1.34万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Exploratory Research
• 财政年份: 1997
• 资助国家: 日本
• 起止时间: 1997 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09878066/
• 关键词: 自然言語処理; 統計的構文解析; 語彙的従属関係; 日本語係り受け解析

本研究では,構文解析の曖昧性解消を行うために,構文的な統計情報と語彙的な統計情報を統合する手法を提案する.我々が提案する統合的確率言語モデルは,構文的優先度などの構文的な統計情報を反映する構文モデルと,単語の出現頻度や単語の共起関係などの語彙的な統計情報を反映する語彙モデルの2つの下位モデルから成る.この統合的確率言語モデルは,構文的な統計情報と語彙的な統計情報を同時に学習する去の多くのモデルと異なり,両者を個別に学習する点に特徴がある.構文的な統計情報と語彙的な統計情報を独立に取り扱うことにより,それぞれの統計情報を異なる言語資源から独立に学習することができるだけでなく,それぞれの統計情報が曖昧性解消においてどのような効果を果たすのかを容易に分析することができる.この統合的確率言語モデルを評価するために,日本語文の文節の係り受け解析を行った.構文モデルを用いたときの文節の正解率は73.38$%となり,ベースラインに比べて11.70$%向上した.また,構文モデルと語彙モデルを組み合わせることにより,文節の正解率はさらに10.96$%向上し84.34$%となった.この結果,本研究で提案する枠組において,語彙的な統計情報は構文的な統計情報と同程度に曖昧性解消に貢献することを確認した.なお,本研究の成果は下記国際会議で報告されている。Kiyoaki Shirai,Kentaro Inui,Hozumi Tanaka,Takenobu Tokunaga.An Empirical Study on Statistical Disambiguation of Japanese Dependency Structures Using a Lexically Sensitive Language Model.Proceedings of Natural Language Processing Pacific Rim Symposium,1997.

This study proposes a method for resolving ambiguity in text analysis and integrating statistical information in text analysis. The statistical information reflects the priority of the sentence, the frequency of occurrence of the single sentence, the co-occurrence relationship of the single sentence, and the statistical information of the words. The integration accuracy rate of speech, structure of statistical information, statistical information of words, simultaneous learning, multiple learning, individual learning, point characteristics, etc. The statistical information of the structure of the text and the statistical information of the words are taken independently. The statistical information of the words is taken independently. The statistical information of the words is taken independently. The statistical information of the words is taken independently. The statistical information of the words is taken independently. This integration rate speech evaluation, Japanese language section of the text system analysis. The correct solution rate of the structure is 73.38$%, which is higher than that of 11.70$%. The correct solution rate of the text section is 10.96$% upward and 84.34$% upward. As a result, this study proposes that the statistical information of words contributes to the resolution of ambiguity to the same extent as the statistical information of text construction. The results of this research are reported in the following international conference. Kiyoaki Shirai,Kentaro Inui,Hozumi Tanaka,Takenobu Tokunaga.An Empirical Study on Statistical Disambiguation of Japanese Dependency Structures Using a Lexically Sensitive Language Model.Proceedings of Natural Language Processing Pacific Rim Symposium,1997.