Constructing Reading Comprehension Datasets to Evaluate Discourse-level Language Understanding

构建阅读理解数据集以评估话语级语言理解

• 批准号: 22K17954
• 负责人: 菅原 朔
• 金额: $ 2.91万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17954/
• 关键词: 自然言語処理; 計算言語学; 自然言語理解; 文章読解; 談話理解

2021年度後半から2022年度にかけて大規模なパラメータ数からなるアーキテクチャを大規模なコーパスの上で訓練することで構築した大規模言語モデルと呼ばれるシステムを基礎にした研究が急増している。そのなかで、本研究はとくに文の相互関係の理解に注目し、説明性の高い談話的文章理解を問う評価用データセットの構築を目指している。高度化したシステムの振る舞いを評価するにあたって単文にとどまらない複数の文の理解を総合的に問うアプローチは重要性が高く、集中的に取り組まれる必要がある。大規模言語モデルの発展と軌を一にして、言語理解の評価用のデータセットも多様化・大規模化する傾向があり、現状のデータセットで何が取り組まれており、現状のシステムに何ができるのか、広範で正確な調査が必要とされている。初年度においてはこうした進展を踏まえた文献調査を進めながら、システム分析・簡易的なデータセット作成を通した状況把握に努めた。具体的には、読解問題における文章に含まれる表面的な特徴が文章読解システムの振る舞いのどのような影響を与えているのかを調査した。また、日付情報の理解や常識推論の理解をシステムに問うことを通して、複数の文を同時に理解しなければならないタスクでシステムが適切に振る舞うことができるのかを調査した。このような予備的な調査を通して、今後文間の理解を正確に評価するタスクをデザインする上で重要になる知見などを収集した。

2021 second half か ら 2022 に か け て large-scale な パ ラ メ ー タ number か ら な る ア ー キ テ ク チ ャ を large-scale な コ ー パ ス の on training で す る こ と で build し た mass speech モ デ ル と shout ば れ る シ ス テ ム を based に し た research が urgent raised し て い る. そ の な か で, this study は と く に article の に attention し masato is の understanding, illustrative の high い conversation article understanding を ask う review 価 use デ ー タ セ ッ ト の build を refers し て い る. Vibration し empirically た シ ス テ ム の る dance い を review 価 す る に あ た っ て 単 article に と ど ま ら な い plural の article の understand を 総 に of q う ア プ ロ ー チ high importance は が く, concentrated に take り group ま れ る necessary が あ る. Mass speech モ デ ル の 発 exhibition と rail を に し て, speech understanding の review 価 の デ ー タ セ ッ ト も others in turn, more large scale す る tendency が あ り, status の デ ー タ セ ッ ト で what が group take り ま れ て お り, status の シ ス テ ム に what が で き る の か, hiroo van で な investigation right が necessary と さ れ て い る. Early annual に お い て は こ う し た progress tread を ま え た を literature investigation into め な が ら, シ ス テ ム analysis, simple な デ ー タ セ ッ ト made を tong し た conditions hold に Mr め た. Specific に は, 読 solutions に お け に contain ま る article れ る surface of な 徴 が article 読 solution シ ス テ ム の vibration る dance い の ど の よ う な influence を and え て い る の か を survey し た. ま た, paid intelligence の understanding や common sense reasoning の を シ ス テ ム に asked う こ と を tong し て, plural の を に understanding at the same time し な け れ ば な ら な い タ ス ク で シ ス テ ム が appropriate vibration に る dance う こ と が で き る の か を survey し た. な こ の よ う な reserve survey を tong し て, future の understanding between を に correct evaluation 価 す る タ ス ク を デ ザ イ ン す る で important に な る knowledge な ど を 収 set し た.

项目成果

Possible Stories: Evaluating Situated Commonsense Reasoning under Multiple Possible Scenarios

• DOI: 10.48550/arxiv.2209.07760
• 发表时间: 2022-09
• 作者: Mana Ashida;Saku Sugawara

How Well Do Multi-hop Reading Comprehension Models Understand Date Information?

多跳阅读理解模型对日期信息的理解程度如何？

• 发表时间: 2022
• 期刊: Proceedings of the 2nd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 12th International Joint Conference on Natural Language Processing (Short Papers)
• 作者: Xanh Ho;Saku Sugawara;Akiko Aizawa
• 通讯作者: Akiko Aizawa

Penalizing Confident Predictions on Largely Perturbed Inputs Does Not Improve Out-of-Distribution Generalization in Question Answering

惩罚对严重扰动输入的置信预测并不能改善问答中的分布外泛化

• 发表时间: 2022
• 期刊: The AAAI-23 Workshop on Knowledge Augmented Methods for NLP (KnowledgeNLP)
• 作者: Kazutoshi Shinoda;Saku Sugawara;and Akiko Aizawa
• 通讯作者: and Akiko Aizawa

Which Shortcut Solution Do Question Answering Models Prefer to Learn?

问答模型更喜欢学习哪种捷径？

• 发表时间: 2022
• 期刊: Proceedings of the 37th AAAI conference on Artificial Intelligence (AAAI)
• 作者: Kazutoshi Shinoda;Saku Sugawara;and Akiko Aizawa
• 通讯作者: and Akiko Aizawa

Look to the Right: Mitigating Relative Position Bias in Extractive Question Answering

向右看：减轻抽取式问答中的相对位置偏差

• 发表时间: 2022
• 期刊: Proceedings of the Fifth BlackboxNLP Workshop on Analyzing and Interpreting Neural Networks for NLP
• 作者: Kazutoshi Shinoda;Saku Sugawara;Akiko Aizawa
• 通讯作者: Akiko Aizawa