他者との言語的接触を考慮した個人が用いることばの意味の動的計算モデル

本研究では任意の書き手が任意の時点で単語に込める意味を数理的に表現する方法論を確立する．自然言語の意味は (A) 話題に対する専門性等により個人レベルで異なるだけでなく，(B) 他者の言語を読む・聞くことで変化する．これらの性質を考慮した表現を獲得できれば，ソーシャルメディア投稿のような多種多様な人間が発信する時系列テキストを正確に理解することができる．本年度は，まず書き手レベルで単語の意味表現を計算するための基盤モデル [Oba et al., 2020] の妥当性検証に取り組んだ．実験では，訓練データにおける系列長・ドメイン・各書き手のサンプル数等の分布が計算結果に与える影響を定量化し手法の頑健性を検証することに加え，意味空間上で観測される書き手間の齟齬がテキスト上でも観測されることを定性的に示した．加えて本年度は大規模言語モデル (LLMs) の個人適応技術に関しても研究を行なった．これは，自然言語における意味の変動性 (B) を捉える部分課題を，文脈を考慮することが得意なLLMsの性質により代替する次善策である．その過程で，LLMsを個人適応する既存手法が抱えていた，適用可能データセットの広範さを大幅に改善する手法を開発した．巨大なパラメタ集合 (i.e., LLMs) を書き手間で共有することで過疎性改善にも寄与すると考えられる．本研究内容が着目する書き手・時間といった要素以外にも，高精度なテキスト理解のための言語外情報として世界知識（例: テキスト背景のエンティティ集合）が注目されている．これまでに世界知識を明示的に参照・利用する手法が開発されているが，知識の変動（例: 新エンティティの出現）に対しては対応できておらず，再学習等のコストを払う必要がある．そこで世界知識の連続表現を説明文等から動的に推定・補完する手法を提案し，国際会議EMNLPに採択された．

本研究では任意の書き手が任意の時点で単語に込める意味を数理的に表現する方法論を確立する．自然言語の意味は (A) 話題に対する専門性等により個人レベルで異なるだけでなく，(B) 他者の言語を読む・聞くことで変化する．これらの性質を考慮した表現を獲得できれば，ソーシャルメディア投稿のような多種多様な人間が発信する時系列テキストを正確に理解することができる．本年度は，まず書き手レベルで単語の意味表現を計算するための基盤モデル [Oba et al., 2020] の妥当性検証に取り組んだ．実験では，訓練データにおける系列長・ドメイン・各書き手のサンプル数等の分布が計算結果に与える影響を定量化し手法の頑健性を検証することに加え，意味空間上で観測される書き手間の齟齬がテキスト上でも観測されることを定性的に示した．加えて本年度は大規模言語モデル (LLMs) の個人適応技術に関しても研究を行なった．これは，自然言語における意味の変動性 (B) を捉える部分課題を，文脈を考慮することが得意なLLMsの性質により代替する次善策である．その過程で，LLMsを個人適応する既存手法が抱えていた，適用可能データセットの広範さを大幅に改善する手法を開発した．巨大なパラメタ集合 (i.e., LLMs) を書き手間で共有することで過疎性改善にも寄与すると考えられる．本研究内容が着目する書き手・時間といった要素以外にも，高精度なテキスト理解のための言語外情報として世界知識（例: テキスト背景のエンティティ集合）が注目されている．これまでに世界知識を明示的に参照・利用する手法が開発されているが，知識の変動（例: 新エンティティの出現）に対しては対応できておらず，再学習等のコストを払う必要がある．そこで世界知識の連続表現を説明文等から動的に推定・補完する手法を提案し，国際会議EMNLPに採択された．