Building General Language Understanding Infrastructure by Fusing Computational and Human Intelligence

2022年度は以下の4つの研究項目について研究を行った。「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。

2022年度は以下の4つの研究項目について研究を行った。「人知のデザイン、構築」(研究項目1)および「計算知のデザイン、構築」(研究項目2)では、Transformerに基づく計算知に対して、人知の一つである辞書を融合する手法を考案し、形態素解析タスクに適用した。この手法は、入力文の各文字が辞書にマッチしたかどうかを埋め込みベクトルとして学習し、入力に足し合わせる。実験により、辞書の種類によっては精度が向上することを確認した。また、2021年度から継続的に構築していた日本語RoBERTaモデルのlargeサイズを公開した。「人に近い文章理解の実現に向けた計算知・人知融合モデルの構築」(研究項目3)では、事前学習済み言語モデルを、自然言語推論(NLI)データを用いてfine-tuningすることで得られた文ベクトルと、国語辞典の定義文を用いてfine-tuningすることで得られた文ベクトルを比較し、後者の方が表層的に類似していない文ペアの意味的関係性の認識に強いなど、両者の性質に違いがあることを明らかにした。また、両者を統合することで文ベクトルの性能向上が可能なことを示した。「計算知・人知融合モデルの処理過程の説明方式の確立」(研究項目4)では、巨大言語モデルに適切な例題を提示することで、思考連鎖(Chain-of-Thought)の能力で問題を解決できる可能性があることが先行研究にて示されていることに着目した。この思考連鎖の能力についてより深い検証を行い、特に否定的な意味合いを持つ単語を使うと、思考連鎖が機能しなくなるという現象をつきとめた。また、この過程で言語モデルの推論過程を適切に調査するための方法論を考案した。これ以外にもニューラルネットワークの説明性の評価基準である忠実性評価に関して現状を網羅的に調査し、言語処理タスクにおける忠実性評価の指針を示した。