权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence

通过融合计算和人类智能构建通用语言理解基础设施

基本信息

批准号：
21H04901
负责人：
河原大輔
金额：
$ 26.62万
依托单位：
Waseda University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (A)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-05 至 2025-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H04901/
关键词：
言語理解転移学習言語知識説明性基盤モデル深層学習

项目摘要

2022年度は以下の4つの研究項目について研究を行った。「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。

In 2022, the following 4 research projects were carried out. "Human knowledge and structure"(research item 1) and "computational knowledge and structure"(research item 2) are the basic methods of Transformer, computational knowledge and dictionary fusion. This technique is used to study and enter the text. The accuracy of the dictionary is high. In 2021, the Japanese language RoBERTa "The construction of human knowledge fusion in the realization of human near text understanding"(Research Project 3). In advance, learning language, natural language inference (NLI), fine-tuning, and comparison of text, Chinese dictionary definition, and text. The latter is similar to the surface layer, and the relationship between the meaning of the text and the understanding of the nature of the text is strong. The performance of the company is expected to improve. "Establishment of a method for explaining the processing of computational knowledge and human knowledge fusion"(Research Item 4). The possibility of solving the problem of the ability to think chain-of-thought is discussed in this paper. The ability to think about chains is to think deeply about evidence, to think negatively about meaning, to think about chains, to think about functions, to think about phenomena. A methodological study of the process of speech inference is conducted. The descriptive evaluation criteria for speech processing and speech processing are shown in the survey on the status quo of speech processing.