Constructing Reading Comprehension Datasets to Evaluate Discourse-level Language Understanding

点击翻译按钮获取中文摘要

2021年度後半から2022年度にかけて大規模なパラメータ数からなるアーキテクチャを大規模なコーパスの上で訓練することで構築した大規模言語モデルと呼ばれるシステムを基礎にした研究が急増している。そのなかで、本研究はとくに文の相互関係の理解に注目し、説明性の高い談話的文章理解を問う評価用データセットの構築を目指している。高度化したシステムの振る舞いを評価するにあたって単文にとどまらない複数の文の理解を総合的に問うアプローチは重要性が高く、集中的に取り組まれる必要がある。大規模言語モデルの発展と軌を一にして、言語理解の評価用のデータセットも多様化・大規模化する傾向があり、現状のデータセットで何が取り組まれており、現状のシステムに何ができるのか、広範で正確な調査が必要とされている。初年度においてはこうした進展を踏まえた文献調査を進めながら、システム分析・簡易的なデータセット作成を通した状況把握に努めた。具体的には、読解問題における文章に含まれる表面的な特徴が文章読解システムの振る舞いのどのような影響を与えているのかを調査した。また、日付情報の理解や常識推論の理解をシステムに問うことを通して、複数の文を同時に理解しなければならないタスクでシステムが適切に振る舞うことができるのかを調査した。このような予備的な調査を通して、今後文間の理解を正確に評価するタスクをデザインする上で重要になる知見などを収集した。