权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Large-scale general-purpose language models for information retrieval tasks

用于信息检索任务的大规模通用语言模型

基本信息

批准号：
22K21303
负责人：
欅惇志
金额：
$ 1.83万
依托单位：
Hitotsubashi University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2022
资助国家：
日本
起止时间：
2022-08-31 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では，さまざまな情報検索 (IR) タスクに適用可能な大規模汎用クエリ-文書言語モデルの実現に取り組む．大規模汎用言語モデルである BERTは，大規模コーパス（文書）を用いた高計算コストな事前学習により汎用的な言語表現を獲得し，その後にタスクに特化した低計算コストなファインチューニング（再学習）を行うことで，さまざまな自然言語処理 (NLP) タスクの性能を大幅に改善した．その一方で，IR タスクでは，単に BERT を IR タスクデータセットで再学習するだけでは他の NLP タスクほど高い効果は得られず，高精度達成には複雑かつ高計算コストな学習が追加で必要となる．そこで本課題では，従来の事前学習で用いられる文書に加えて，IR タスクのみに存在する検索質問（クエリ）も用いることで，IR タスクに適した事前学習を行う．これによって，複雑・高計算コストな後段処理を必要としない情報検索用大規模汎用クエリ-文書言語モデルの実現を目指す．2022 年度は，IR タスクに適した事前学習として，事前学習モデルと IR タスクの再学習モデルの乖離を埋めるための中間学習を提案した．その際，一般的な NLP タスクと IR タスクの相違点である入力データの違い，すなわち，NLPタスクの入力は自然文ペアであるのに対して IR タスクの入力は数語のキーワード集合から構成されるクエリと自然文で記述された文書ペアであることに着目した．これらの差異から IR タスクにおける再学習の効果が低下されるという仮説を立て，事前学習モデルに対して IR タスクに汎用的な表現を獲得することを目的とした学習方法を提案した．その結果，提案手法を適用することで IR タスクの再学習済みモデルの検索性能の改善が確認された．

In this study, we found that the information search (IR) model is applicable to a wide range of applications. Large-scale Universal Speech Processing (BERT): Large-scale Universal Speech Processing (CLS): Large-scale Universal Speech Processing (LSP): Large-scale Universal Speech Performance (LSP): Large-scale Universal Speech Processing (LSP In one case, IR is the most accurate way to achieve IR, BERT is the most This topic is about the study of IR in advance, and the study of IR in advance. In 2022, we will propose a proposal for pre-learning and re-learning in advance. In general, the NLP is composed of a set of natural text and a set of input text. The difference between the IR and the learning effect is low. The difference between the IR and the IR is low. The difference between the As a result, the proposed method is applied to confirm the improvement of the IR profile's relearning performance.