Building a Commonsense Reasoning Model Considering Inference Process on Event Relational Knowledge

点击翻译按钮获取中文摘要

深層学習の発展に伴い，計算機の自然言語処理能力は長足の進歩を遂げているが，計算機による常識推論は未だ困難であることが報告されている．本研究では，常識推論の中でも基本的な事態間の蓋然的関係(ある程度続けて起こりうる/真である事態間の関係)を推論する能力(以降，常識推論能力と呼ぶ)に焦点を当て，この改善とさらなる言語理解力の評価・改善を目標に手法の検討を進めている．本年度は，生のテキストデータから常識推論問題を模した疑似問題を大規模に自動生成し，これを訓練時に組み込むことによる常識推論能力の改善を試みた．また，常識推論問題および疑似問題からの転移学習による関連タスクへの効果を定量的に評価し，自然言語理解における蓋然的関係を推論する能力の重要性を検証した．実験の結果，常識推論問題および疑似問題を通して蓋然的関係に関する知識を大規模に学習することで，常識推論タスクおよび関連タスクにおいて全体的な改善が見られることを確認した．これは，自然言語理解における蓋然的関係を推論する能力の重要性を示唆していると考えられる．また，当初の研究計画では翌年度に事態間の蓋然的関係の推論過程を問う言語資源の構築を目標としていたため，翌年度の研究遂行に向けて，近年登場した大規模言語モデルに対して事態間の蓋然的関係の推論過程を問う予備実験を行った．実験の結果，大規模言語モデルは概ね妥当な推論過程を生成できる傾向が確認された．このため，翌年度は推論過程を問う方針で進めるのではなく，談話関係全般の推論能力の評価・改善を目標として研究を進める予定である．