分野認知型対話理解システムの英語知識辞書構築の研究

文書中における単語の重要度を決定する際に、出現頻度の時系列変動が考慮されるようになれば、時間情報や流行性を考慮した結果を得ることができ、より適切な情報検索、対話処理が可能となる。本年度は、一定期間中の新聞記事からn-gram頻度をとり,期間における単語数の増減を解析することにより、その単語の流行性を推定する手法を考案した。流行性としては,3つのクラスの(安定語、新出語、衰退語)を定義し、出現単語を3つのクラスのいずれかに人手で分類した。その単語の品詞、頻度等の情報を決定木自動学習アルゴリズムC4.5における学習データとして、決定木の構築を行った。様々な単語情報セットを用いて決定木を作成し、入力単語がどのクラスに属するかを実験により評価し、最適な推定条件を生成した。大規模なデータに対し、生成した決定木を用いて、クラス分類実験を行い、評価した。さらに構築した流行性情報を付加した単語知識辞書を構築した。なお、提案手法に関連する研究成果は、国内学会、シドニー・タンタで行われた国際学会において報告済みである。

文書中における単語の重要度を決定する際に、出現頻度の時系列変動が考慮されるようになれば、時間情報や流行性を考慮した結果を得ることができ、より適切な情報検索、対話処理が可能となる。本年度は、一定期間中の新聞記事からn-gram頻度をとり,期間における単語数の増減を解析することにより、その単語の流行性を推定する手法を考案した。流行性としては,3つのクラスの(安定語、新出語、衰退語)を定義し、出現単語を3つのクラスのいずれかに人手で分類した。その単語の品詞、頻度等の情報を決定木自動学習アルゴリズムC4.5における学習データとして、決定木の構築を行った。様々な単語情報セットを用いて決定木を作成し、入力単語がどのクラスに属するかを実験により評価し、最適な推定条件を生成した。大規模なデータに対し、生成した決定木を用いて、クラス分類実験を行い、評価した。さらに構築した流行性情報を付加した単語知識辞書を構築した。なお、提案手法に関連する研究成果は、国内学会、シドニー・タンタで行われた国際学会において報告済みである。