テクストの数理的モデリングと、数理モデルを通したテクストらしさの解明への挑戦

文本的数学建模以及通过数学模型阐明文本独特性的挑战

基本信息

  • 批准号:
    20J22697
  • 负责人:
  • 金额:
    $ 1.79万
  • 依托单位:
  • 依托单位国家:
    日本
  • 项目类别:
    Grant-in-Aid for JSPS Fellows
  • 财政年份:
    2020
  • 资助国家:
    日本
  • 起止时间:
    2020-04-24 至 2023-03-31
  • 项目状态:
    已结题

项目摘要

昨年度に引き続き,ヒトがテクストを読む際の逐次的処理のモデルについて,自然言語処理分野の技術を活用して探求した.昨年度の研究では,工学的に用いられる大規模言語モデルとヒトの文処理の間に乖離を確認していた.今年度は,心理言語学分野の知見と紐付けながら,この乖離を埋める方法について調査した.本課題について一定の知見が得られており,おおむね順調に研究が進んでいる.当初の計画では,テクスト(複数の文からなる文章)レベルの処理について焦点を当てる予定であったが,その手前の段階として一文ごとの処理に着目した場合にも,ヒトと工学的モデルの間で乖離が生じることが分かった.これを踏まえ,今年度は文レベルの処理に重きをおいた研究となった.並行して文章レベルの処理についても,主題化や省略といった観点について,ヒトと言語モデルの振る舞いを対照させる分析を行ってきた.今年度の研究成果については国内最大規模の学会(自然言語処理学会第28回年次大会)で発表した.今後さらに国際学会への投稿も予定している.また,昨年度の研究成果について当該分野で最も権威ある国際学会(ACL2021)で発表を行った.これらの研究は,心理言語学的な視点からは,ヒトの言語処理の数理的モデルの解明と位置づけられる一方,工学的な視点からはブラックボックスな機械の言語処理の機序を,ヒトと照らし合わせて分析する営みとも捉えられる.工学的な言語処理モデルの分析に関連して,大規模言語モデルをホワイトボックス化する研究や,これらのモデルの説明性を向上させる研究にも共著者として関わった (TACL2021,EMNLP2021,自然言語処理学会第28回年次大会受賞).
This year, we will explore the application of natural speech processing technology in the process of speech processing. Last year's research confirmed that there was a gap between large-scale speech and text processing in engineering applications. This year, psycholinguistics is divided into two fields: knowledge, research and methodology. This topic is about knowledge and understanding. In the beginning, the project was planned, and the focus of the project was determined. The stage before the project was planned, and the focus of the project was determined. In the case of the project, the focus of the project was determined. This year's article is about the study of the relationship between science and technology. In parallel, the article will be processed in the middle of the article, and the theme will be omitted in the middle of the article. In addition, the article will be analyzed in the middle of the article. This year's research achievements are the largest in China (the 28th Annual Conference of the Natural Speech Processing Society). In the future, the International Society will submit its contribution to the Chinese Academy of Sciences. The International Academy of Sciences (ACL2021) launched the report on the results of last year's research. This research is based on psycholinguistic perspectives, mathematical interpretation of speech processing, and engineering perspectives. The author of this paper is TACL2021, EMNLP2021, 28th Annual Conference of the Society for Natural Speech Processing.

项目成果

期刊论文数量(14)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Transformerの文脈を混ぜる作用と混ぜない作用
Transformer 上下文混合和非混合效果
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    小林悟郎;栗林樹生;横井祥;乾健太郎
  • 通讯作者:
    乾健太郎
Langsmith: 人とシステムの協働による論文執筆
Langsmith:通过人与系统之间的协作来撰写论文
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    伊藤拓海;栗林樹生;日高雅俊;鈴木潤;乾健太郎
  • 通讯作者:
    乾健太郎
Lower Perplexity is Not Always Human-Like
较低的困惑并不总是像人类一样
人と言語モデルが捉える文の主題
人类和语言模型捕获的句子主题
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    藤原吏生;栗林樹生;乾健太郎
  • 通讯作者:
    乾健太郎
ニューラル言語モデルの過剰な作業記憶
神经语言模型中的过多工作记忆
  • DOI:
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    杉田 脩;小泉 透;塩谷 亮太;入江 英嗣;坂井 修一;古川拓磨,榛葉健太,朝比奈昂洋,小谷潔,神保泰彦;栗林樹生
  • 通讯作者:
    栗林樹生
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

栗林 樹生其他文献

栗林 樹生的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('栗林 樹生', 18)}}的其他基金

人間らしい言語獲得効率に対するマルチモーダル言語処理を通した構成論的探求
通过多模态语言处理对类人语言习得效率的建设性探索
  • 批准号:
    23K16938
  • 财政年份:
    2023
  • 资助金额:
    $ 1.79万
  • 项目类别:
    Grant-in-Aid for Early-Career Scientists
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了