常識推論に基づく自然言語の文脈理解への挑戦

点击翻译按钮获取中文摘要

本研究課題の目的は、計算機による省略・照応解析の実現のために、「常識的知識をどのように汎化するべきか」を明らかにすることであった。本年度は、その問いに対する一つの解決策と、その詳細な分析を与えた。記号的な知識と自然言語で記述された知識を統合し、計算機による意味の計算のために汎化する一つの方法は、ベクトルで表されたそそれぞれの知識を同一のベクトル空間に配置することである。このアプローチをここではUGE (Universal Graph Embedding)と呼ぶことにする。 UGE は知識ベースの埋め込みを大量の生テキストから効果的に学習できる上に、知識ベースにおける構成的な推論を高速に行える可能性をもつ。しかしながら、UGEに取り組んだ先行研究はToutanovaら (2015) 唯一であり、UGEがもつ発展性に関する議論は依然として進められていない。本年度はUGEへの洞察を深めることを目的として、UGEの3つの主要な課題：(1)学習戦略、(2)関係パスへの拡張、(3)事前学習済み言語モデルとの統合に取り組んだ。生物医学分野の知識ベースと文献データベースをもとにデータセットを構築し、これら3つの課題について実験的に検討を行った。実験は、大規模な計算機リソースを活かしたパラメータ探索から、ベクトル空間の定性的な性質を確かめるための深い分析まで及んでいる。例えば、知識ベースの関係知識とテキストから抽出した関係知識のベクトルが学習中にどのようにベクトル空間を移動するかをアニメーションによって可視化した。この可視化によって、知識ベースとテキストの異なる性質のベクトルを同じ空間に埋め込む際には異なる学習率を設定することが肝要であるなど、知識ベースの埋め込みにおいて複数の重要な知見を見出した。