权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Large-scale general-purpose language models for information retrieval tasks

用于信息检索任务的大规模通用语言模型

基本信息

批准号：
22K21303
负责人：
欅惇志
金额：
$ 1.83万
依托单位：
Hitotsubashi University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2022
资助国家：
日本
起止时间：
2022-08-31 至 2024-03-31
项目状态：
已结题

项目摘要

本研究では，さまざまな情報検索 (IR) タスクに適用可能な大規模汎用クエリ-文書言語モデルの実現に取り組む．大規模汎用言語モデルである BERTは，大規模コーパス（文書）を用いた高計算コストな事前学習により汎用的な言語表現を獲得し，その後にタスクに特化した低計算コストなファインチューニング（再学習）を行うことで，さまざまな自然言語処理 (NLP) タスクの性能を大幅に改善した．その一方で，IR タスクでは，単に BERT を IR タスクデータセットで再学習するだけでは他の NLP タスクほど高い効果は得られず，高精度達成には複雑かつ高計算コストな学習が追加で必要となる．そこで本課題では，従来の事前学習で用いられる文書に加えて，IR タスクのみに存在する検索質問（クエリ）も用いることで，IR タスクに適した事前学習を行う．これによって，複雑・高計算コストな後段処理を必要としない情報検索用大規模汎用クエリ-文書言語モデルの実現を目指す．2022 年度は，IR タスクに適した事前学習として，事前学習モデルと IR タスクの再学習モデルの乖離を埋めるための中間学習を提案した．その際，一般的な NLP タスクと IR タスクの相違点である入力データの違い，すなわち，NLPタスクの入力は自然文ペアであるのに対して IR タスクの入力は数語のキーワード集合から構成されるクエリと自然文で記述された文書ペアであることに着目した．これらの差異から IR タスクにおける再学習の効果が低下されるという仮説を立て，事前学習モデルに対して IR タスクに汎用的な表現を獲得することを目的とした学習方法を提案した．その結果，提案手法を適用することで IR タスクの再学習済みモデルの検索性能の改善が確認された．

This study では, さまざまな intelligence 検 cable (IR) タスクに may apply な large-scale domestic クエリ - document words モデルの be presently にむり group. Large-scale domestic words モデルである BERT は, large-scale コーパス (documents) をいた high computing コストな prior learning により domestic な speech performance をし, その after にタスクに specialized した low computing コストなファインチューニング line (to learn) をうことで, The performance of さまざまな natural language processing (NLP) タスに <s:1> has been significantly improved に. そので a party, the IR タスクでは, 単に BERT を IR タスクデータセットです learning again るだけでは he の NLP タスクほど high い fruit comes unseen はられず, high precision to achieve には complex 雑かつ high computing コストな learning が additional で necessary となる. そこで this topic では従 to learn での advance with いられる documents に plus えて, IR タスクのみに exist する検 line query (クエリ) も with いることで, IR タスクに optimum した prior learning うを line. これによって, complex 雑 · high computing コストな period after 処 Richard を necessary としない intelligence 検 cable with large domestic クエリ - document words モデルの be presently を refers す. 2022 annual は, IR タスクに optimum した prior learning として, prior learning モデルと IR タスクの relearning モデルの stays buried をめるための learning among を proposal した. その interstate, general な NLP タスクと IR タスクの conceives some であるデ into force ータの violations い, すなわち, NLP タスクのは into force nature article ペアであるのにし seaborne て IR タスクのは several language into force のキーワード collection から constitute されるクエリと nature article で account された documents ペアであることに with mesh した. これらの differences から IR タスクにおける relearning の unseen low fruit がされるという仮 said をて, prior learning モデルにし seaborne て IR タスクに domestic な performance を get することを purpose とした learning method proposed をした. その as a result, the proposed technique を applicable することで IR タスクの relearning 済みモデルの検 can simply の improve が confirm された.