構成性を考慮した自然言語理解テストセットの開発

考虑组合性的自然语言理解测试集的开发

基本信息

批准号：
22K12167
负责人：
土屋雅稔
金额：
$ 2.66万
依托单位：
Toyohashi University of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2027-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K12167/
关键词：
深層学習質問応答含意関係認識自然言語理解

项目摘要

本研究は，質問応答タスクを含む自然言語処理タスクを題材として，以下の2つの目標を達成するためのタスク定義とデータセットを設計・構築する方法を研究する．第1の目標は，データセットから深層学習によって得られたモデルが，どのような範囲の質問に対して回答できるのか，を予測することである．既存の質問応答データセットの作成にあたっては，収録されている複数の質問q1,q2,...は，お互いに独立している．そのため，ある質問qに対してモデルが正しく推論できた場合に，別の質問q'に対しても正しく推論できるかどうかを予測する方法は，基本的には存在しない．本研究では逆に，ある質問qに対して人間が正しく推論できた場合，人間であれば正しく推論できるはずの別の質問q'を用意することによって，モデルが人間をどこまで模倣できているかを検証できるよう設計するという方針を検討する．第2の目標は，質問そのものに対する精度，信頼性を評価できる構成とすることである．従来の質問応答タスクにおいては，質問q1と文脈テキストC1の対を入力として学習を行い，異なる質問q2と文脈テキストC2の対を入力としてテストを行っている．このタスク定義は，学習によって得られたモデルMが質問q1と文脈テキストC1の対を理解しているか調べる問題設定になっているが，モデルMが質問q1を理解しているか調べる問題設定としては不十分である．同一の質問q1を異なる文脈テキストC1およびC2に対して適用した時，そして，両方の文脈テキストに対して正しく回答できた場合，そのモデルMが質問q1を理解しているとみなすことができるはずである．そこで，本研究では，1つの質問に対して複数の文脈テキストを用意したデータセットを構築する方法を研究する．

这项研究调查了设计和构建数据集的任务定义和方法，以实现以下两个目标，并使用自然语言处理任务在内，包括提问者任务。第一个目标是预测从数据集中深度学习获得的模型可以回答问题的程度。当创建一个现有的问题回答数据集时，随附的问题Q1，Q2，...彼此独立。因此，基本上无法预测一个问题Q是否可以正确推断模型，是否可以正确推断出另一个问题Q'的模型。相反，在这项研究中，如果人类可以正确理解问题Q，我们考虑了设计模型的政策，以便通过准备另一个问题q'可以验证模型可以模仿人的程度，该问题应该能够正确地为人类推理。第二个目标是使其成为一个结构，使您能够评估问题本身的准确性和可靠性。在传统的问题回答任务中，问题Q1和上下文文本C1的成对被研究为输入，并使用不同的问题Q2和上下文文本C2作为输入来执行测试。此任务定义是一个问题设置，它可以检查通过学习获得的模型M是否了解问题Q1和上下文文本C1之间的对，但是作为问题设置不足以检查Model M是否理解问题Q1。当将Q1应用于不同上下文文本C1和C2，并且两个上下文文本正确的答案时，则应考虑使用模型M来理解问题Q1。因此，在这项研究中，我们将研究如何构建一个为一个问题准备多个上下文文本的数据集。