常識推論に基づく自然言語の文脈理解への挑戦

基于常识推理理解自然语言上下文的挑战

• 批准号: 18J20936
• 负责人: 高橋 諒
• 金额: $ 1.41万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-25 至 2021-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J20936/
• 关键词: 自然言語処理; 表現学習; 知識ベース; 機械学習

本研究課題の目的は、計算機による省略・照応解析の実現のために、「常識的知識をどのように汎化するべきか」を明らかにすることであった。本年度は、その問いに対する一つの解決策と、その詳細な分析を与えた。記号的な知識と自然言語で記述された知識を統合し、計算機による意味の計算のために汎化する一つの方法は、ベクトルで表されたそそれぞれの知識を同一のベクトル空間に配置することである。このアプローチをここではUGE (Universal Graph Embedding)と呼ぶことにする。 UGE は知識ベースの埋め込みを大量の生テキストから効果的に学習できる上に、知識ベースにおける構成的な推論を高速に行える可能性をもつ。しかしながら、UGEに取り組んだ先行研究はToutanovaら (2015) 唯一であり、UGEがもつ発展性に関する議論は依然として進められていない。本年度はUGEへの洞察を深めることを目的として、UGEの3つの主要な課題：(1)学習戦略、(2)関係パスへの拡張、(3)事前学習済み言語モデルとの統合に取り組んだ。生物医学分野の知識ベースと文献データベースをもとにデータセットを構築し、これら3つの課題について実験的に検討を行った。実験は、大規模な計算機リソースを活かしたパラメータ探索から、ベクトル空間の定性的な性質を確かめるための深い分析まで及んでいる。例えば、知識ベースの関係知識とテキストから抽出した関係知識のベクトルが学習中にどのようにベクトル空間を移動するかをアニメーションによって可視化した。この可視化によって、知識ベースとテキストの異なる性質のベクトルを同じ空間に埋め込む際には異なる学習率を設定することが肝要であるなど、知識ベースの埋め込みにおいて複数の重要な知見を見出した。

The purpose of this research topic の は, computer に よ る omitted, according to the analytical の 応 be presently の た め に, "common sense knowledge を ど の よ う に generalization す る べ き か" を Ming ら か に す る こ と で あ っ た. This year, そ and そ will ask for detailed な analysis of を and えた of the solutions to する and そ respectively. Marked な words と natural knowledge で account さ れ た knowledge integration を し, computer に よ る mean の computing の た め に generalization す る a つ の way は, ベ ク ト ル で table さ れ た そ そ れ ぞ れ の knowledge を same の ベ ク ト に ル space configuration す る こ と で あ る. こ の ア プ ロ ー チ を こ こ で は UGE (Universal Graph Embedding) と shout ぶ こ と に す る. UGE は knowledge ベ ー ス の buried め 込 み を large の raw テ キ ス ト か ら unseen fruit に learning で き る に, knowledge on ベ ー ス に お け る な inference を consisting of high speed line に え る possibility を も つ. し か し な が ら, UGE に group take り ん だ leading research は Toutanova ら (2015) the only で あ り, UGE が も つ 発 malleable に masato す る comment は still と し て in め ら れ て い な い. Deep insight into this year's は UGE へ の を め る こ と を purpose と し て, UGE の 3 つ の mainly study 戦 な topics: (1), (2) masato パ ス へ の company, zhang, (3) advance learning 済 み words モ デ ル と の integration に group take り ん だ. Biomedical knowledge eset の ベ ー ス と literature デ ー タ ベ ー ス を も と に デ ー タ セ ッ ト を constructing し, こ れ ら 3 つ の subject に つ い て be 験 of に 検 line for を っ た. Be 験 は, large-scale computer リ な ソ ー ス を live か し た パ ラ メ ー タ explore か ら, ベ ク ト ル space の qualitative nature of な を か indeed め る た め の deep analysis い ま で and ん で い る. Example え ば, knowledge ベ ー ス の masato is knowledge と テ キ ス ト か ら spare し た masato is knowledge の ベ ク ト ル が study に ど の よ う に ベ ク ト ル space を mobile す る か を ア ニ メ ー シ ョ ン に よ っ て visualization し た. こ の visualization に よ っ て, knowledge ベ ー ス と テ キ ス ト の different な る nature の ベ ク ト ル を buried with じ space に め 込 む interstate に は different な vector る を set す る こ と が liver to で あ る な ど, knowledge ベ ー ス の buried め 込 み に お い て plural の important な know see を out し た.