状況モデルの形式化に基づく自然言語読解システムの構築

1. 機械読解データセットにおいて必要となる言語理解能力の半自動的な分類手法の提案これまでに提案されている機械読解データセットにおいては、成績の良いシステムがどのようなシステムを実際に備えていると言えるかについて根拠付けることが難しかった。昨今使われる大規模なデータセットは人手での分析が難しく、自動的な分析手法が望まれていた。観察として、「ある能力を講師するために必要となる要素」を課題文中から落としてもシステムが正答できるのであれば、その問いはその能力を行使しなくても解ける可能性が高いと言える。そこで「言語理解に必要な要素を落とす」という手法を合計 12 個の能力に対応させて提案した。結果として、多くのデータセットですでに解けている問いでは高度な言語理解が要求されているわけではなさそうである、という観察を得た。2. 機械読解データセットが説明性を備えるために求められる要件の整理機械読解における既存のデータセットではどのような評価が行われているかの意義付けが弱いという課題があった。実践的な試みや分析は様々になされているが、こうした取り組みを支えるための理論的な基盤はまだ整備されていない。そこで、読解とは何か・それをどのように評価するか、という2つの観点から理論的な基礎を整備した。具体的には、心理学における読解の研究から計算論的な言語理解のモデルを援用し、読解とは何かについての心理学的な知見と既存の機械読解データセットにおける能力の単位の対応付けを行った。後者の評価手法については、心理測定学における妥当性の構成概念を援用し、既存のデータセット設計がそれをどれほど満たしているかについて検討を行った。結果として、「他の知覚情報との結びつきや新規な状況の理解を問うものがさらに必要」と「回答のプロセスを中間的に適切に評価できるようなタスクデザインが必要」という結論を得た。

1. 機械読解データセットにおいて必要となる言語理解能力の半自動的な分類手法の提案これまでに提案されている機械読解データセットにおいては、成績の良いシステムがどのようなシステムを実際に備えていると言えるかについて根拠付けることが難しかった。昨今使われる大規模なデータセットは人手での分析が難しく、自動的な分析手法が望まれていた。観察として、「ある能力を講師するために必要となる要素」を課題文中から落としてもシステムが正答できるのであれば、その問いはその能力を行使しなくても解ける可能性が高いと言える。そこで「言語理解に必要な要素を落とす」という手法を合計 12 個の能力に対応させて提案した。結果として、多くのデータセットですでに解けている問いでは高度な言語理解が要求されているわけではなさそうである、という観察を得た。2. 機械読解データセットが説明性を備えるために求められる要件の整理機械読解における既存のデータセットではどのような評価が行われているかの意義付けが弱いという課題があった。実践的な試みや分析は様々になされているが、こうした取り組みを支えるための理論的な基盤はまだ整備されていない。そこで、読解とは何か・それをどのように評価するか、という2つの観点から理論的な基礎を整備した。具体的には、心理学における読解の研究から計算論的な言語理解のモデルを援用し、読解とは何かについての心理学的な知見と既存の機械読解データセットにおける能力の単位の対応付けを行った。後者の評価手法については、心理測定学における妥当性の構成概念を援用し、既存のデータセット設計がそれをどれほど満たしているかについて検討を行った。結果として、「他の知覚情報との結びつきや新規な状況の理解を問うものがさらに必要」と「回答のプロセスを中間的に適切に評価できるようなタスクデザインが必要」という結論を得た。