权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

他者との言語的接触を考慮した個人が用いることばの意味の動的計算モデル

考虑与他人语言接触的个人所用词语含义的动态计算模型

基本信息

批准号：
22KJ0950
负责人：
大葉大輔
金额：
$ 1.09万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ0950/
关键词：
自然言語処理個人適応単語埋め込みエンティティリンキング

项目摘要

本研究では任意の書き手が任意の時点で単語に込める意味を数理的に表現する方法論を確立する．自然言語の意味は (A) 話題に対する専門性等により個人レベルで異なるだけでなく，(B) 他者の言語を読む・聞くことで変化する．これらの性質を考慮した表現を獲得できれば，ソーシャルメディア投稿のような多種多様な人間が発信する時系列テキストを正確に理解することができる．本年度は，まず書き手レベルで単語の意味表現を計算するための基盤モデル [Oba et al., 2020] の妥当性検証に取り組んだ．実験では，訓練データにおける系列長・ドメイン・各書き手のサンプル数等の分布が計算結果に与える影響を定量化し手法の頑健性を検証することに加え，意味空間上で観測される書き手間の齟齬がテキスト上でも観測されることを定性的に示した．加えて本年度は大規模言語モデル (LLMs) の個人適応技術に関しても研究を行なった．これは，自然言語における意味の変動性 (B) を捉える部分課題を，文脈を考慮することが得意なLLMsの性質により代替する次善策である．その過程で，LLMsを個人適応する既存手法が抱えていた，適用可能データセットの広範さを大幅に改善する手法を開発した．巨大なパラメタ集合 (i.e., LLMs) を書き手間で共有することで過疎性改善にも寄与すると考えられる．本研究内容が着目する書き手・時間といった要素以外にも，高精度なテキスト理解のための言語外情報として世界知識（例: テキスト背景のエンティティ集合）が注目されている．これまでに世界知識を明示的に参照・利用する手法が開発されているが，知識の変動（例: 新エンティティの出現）に対しては対応できておらず，再学習等のコストを払う必要がある．そこで世界知識の連続表現を説明文等から動的に推定・補完する手法を提案し，国際会議EMNLPに採択された．

This study establishes methodology for arbitrary book and arbitrary time. The meaning of natural speech is (A) the topic of conversation,(B) the speech of others,(C) the nature of conversation,(D) the nature of conversation,(E) the nature of conversation,(E) the nature of conversation,(D) the nature of conversation,(E) the nature of conversation,(E) the nature of conversation,(D) the nature of conversation,(E) the nature of conversation,(D) the nature of conversation,(E) the conversation,(E) the nature of conversation,(E) the conversation,(E The nature of this article is to consider the performance of this article and to obtain the correct understanding of this article. This year, we have a baseline [Oba et al., 2020] The appropriateness of the test is selected by the group. In fact, the distribution of the number of hands in each book, the length of the training series, the distribution of the number of hands in each book, the distribution of the results of the calculation, and the quantitative influence of the method on the robustness of the method are added, which means that the differences between the hands in the space are measured. This year, we are conducting research on personal adaptation technologies for large-scale speech (LLMs). The nature of natural speech means mobility (B). The process of LLMs 'personal adaptation is based on existing techniques and the application of techniques that can significantly improve the scope of LLMs' adaptation. Huge LLMs have a lot to learn from each other. The content of this study is to focus on the elements other than hand and time, and to understand the world knowledge with high precision (e.g., background). The world knowledge is expressed in terms of reference and utilization, and knowledge is changed (e.g., new information appears). A proposal for the establishment of an international conference on knowledge and communication in the world.