構成性を考慮した自然言語理解テストセットの開発

点击翻译按钮获取中文摘要

本研究は，質問応答タスクを含む自然言語処理タスクを題材として，以下の2つの目標を達成するためのタスク定義とデータセットを設計・構築する方法を研究する．第1の目標は，データセットから深層学習によって得られたモデルが，どのような範囲の質問に対して回答できるのか，を予測することである．既存の質問応答データセットの作成にあたっては，収録されている複数の質問q1,q2,...は，お互いに独立している．そのため，ある質問qに対してモデルが正しく推論できた場合に，別の質問q'に対しても正しく推論できるかどうかを予測する方法は，基本的には存在しない．本研究では逆に，ある質問qに対して人間が正しく推論できた場合，人間であれば正しく推論できるはずの別の質問q'を用意することによって，モデルが人間をどこまで模倣できているかを検証できるよう設計するという方針を検討する．第2の目標は，質問そのものに対する精度，信頼性を評価できる構成とすることである．従来の質問応答タスクにおいては，質問q1と文脈テキストC1の対を入力として学習を行い，異なる質問q2と文脈テキストC2の対を入力としてテストを行っている．このタスク定義は，学習によって得られたモデルMが質問q1と文脈テキストC1の対を理解しているか調べる問題設定になっているが，モデルMが質問q1を理解しているか調べる問題設定としては不十分である．同一の質問q1を異なる文脈テキストC1およびC2に対して適用した時，そして，両方の文脈テキストに対して正しく回答できた場合，そのモデルMが質問q1を理解しているとみなすことができるはずである．そこで，本研究では，1つの質問に対して複数の文脈テキストを用意したデータセットを構築する方法を研究する．