検索の難しさの形式化と予測型検索方式に関する研究

点击翻译按钮获取中文摘要

日本語をはじめとするいくつかの東アジア言語の特徴の一つに複合語が頻出することが挙げられ、キーワードによる情報検索の精度を劣化させる原因の一つとなっている。また、自然言語文においては二語以上からなる言い回しがしばしば含まれ、自然言語文による情報検索を難しくする要因の一つとなっている。さらに、日本語に限らず一般に、情報検索の難しさの要因として、同義語や多義語の存在が挙げられる。これらの問題意識のもと、最終年度である平成20年度は、前年度までに検討してきた、(1)語間依存性と関連性を考慮した検索クエリ構築手法、および、(2)自然言語文における語間依存性を考慮した検索クエリ構築手法について、評価および成果の取りまとめを実施した。それぞれについて以下に概要を示す。1.入力クエリを構成する個々の複合語における構成語間の依存関係、並びに、複合語間の依存関係に着目した二段階語間依存性モデルを開発した。これはマルコフ確率場モデルに基づき、入力クエリの構成語の隣接関係を利用して構造化クエリを自動生成する。さらに、二段階語間依存性モデルと適合モデルを組み合わせる方式について検討した。適合モデルは情報検索のための確率的言語モデルの枠組みによってクエリ拡張を実現する技法である。2.自然言語文に対してチャンク(かたまり)同定を行い、チャンク内の語間依存性と、チャンク間の依存性に着目したクエリ構造化手法を設計した。これは上述の二段階語間依存性モデルを、自然言語文クエリを想定して拡張したものであり、係り受け解析の結果を活用して、着目する依存関係を限定することで、計効果的な構造化クエリ生成を実現するものである。以上の提案手法について、JPドメインのウェブデータを利用して、有効性評価を行った。