权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Abstractive Neural Multi-document Summarization Considering Cross Document Structure

考虑跨文档结构的抽象神经多文档摘要

基本信息

批准号：
21H03495
负责人：
奥村学
金额：
$ 10.98万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

テキスト内の文間の関係を解析する文書構造解析器は，我々のグループが世界最高性能を達成していたが，引き続き研究開発を継続し，新しい手法を提案することで，現在も世界最高性能を維持している．この分野の技術の進歩を明確にできるよう，既存の上向き，下向きの解析戦略と最新の事前学習済み言語モデルを組み合わせることで強いベースライン解析器を構築した．この解析器を評価した結果，解析戦略には大きな差がなく，トークンではなくスパンのマスキングを採用した事前学習済み言語モデルが有効であることが分かった．特に，DeBERTa を用いると世界最高性能を達成した．また，十分な量の学習データを確保できないことにより，文間の修辞構造解析の性能は文内と比較して大幅に低く，下流タスクにとって大きな問題となっている．これを解決するため，学習データを逆翻訳することで得た擬似正解データを用いて解析器を事前学習し，正解データを用いて追加学習する手法を提案した．シフト還元法による上向き解析器，スパン分割による下向き解析器に提案法を適用し，標準的ベンチマークデータセットであるRST-DT，Instr-DT を用いて評価した結果，疑似正解データを用いることで Standard-ParsEval のスコアが約 1-2 ポイント向上することを確認した．

Between テキストの article within の masato is を parsing す parser はる document construction, I 々のグループがを reached the world's highest performance していたが, lead き続き research open 発を継続し, new しい technique proposed をすることで, も now the world's highest performance を maintain している. のこの eset の technology into step を clear にできるよう, existing to きの, next to the きの parsing 戦 slightly と latest の prior learning 済み words モデルを group み close わせることで strong いベースライン parser を build した. この parser を review 価した results, analytic 戦 slightly には big きな poor がなく, トークンではなくスパンのマスキングを using した prior learning 済み words モデルが have sharper であることが points かった. Special に, DeBERTa を achieved た with the world 's highest performance を. また, very なの learning データを ensure できないことにより, wen の rhetorical structure between のは performance in と compare してに sharply lower く, obscene タスクにとって big きな problem となっている. これを solve するため, learning データを inverse turn 訳することで have た quasi truth データを with いて parser をし prior learning, positive solution データを with いて additional learning する technique proposed をした. シフト element method also による to き parser, スパン segmentation による next to き parser にを applicable し proposal method, standard ベンチマークデータセットである RST - DT, Instr - DT を with いて review 価した results, Suspected positive solution データを with いることで Standard - ParsEval のスコアが about 1-2 ポイント upward することを confirm した.