現実世界の逐次的環境変化に協調的に適応するマルチモーダル自然言語理解モデル

一种多模态自然语言理解模型，可协作适应现实世界中的连续环境变化。

• 批准号: 21K21343
• 负责人: 坂口 慶祐
• 金额: $ 36.52万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Fund for the Promotion of Joint International Research (Home-Returning Researcher Development Research)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-02-18 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K21343/
• 关键词: 自然言語処理; 大規模言語モデル; マルチモーダル; 深層学習

現代社会において、人間とAIによる自然なインタラクションや協働を可能にするためには、ユーザーの文脈を考慮し柔軟に対応できる自然言語処理モデルが必要不可欠である。このようなモデルは、ユーザーのニーズに応じた対話を可能にし、AIとユーザー間のコミュニケーションのをより円滑にすると考えられる。しかし、現時点では「静的な文脈のみを必要とするベンチマーク上での高い精度と、動的な文脈が重要になるアプリケーションでの低い精度とのギャップ」が問題となっている。つまり、一方ではAIは一定の文脈におけるパフォーマンスを向上させる一方で、より広範で複雑な状況に対応する能力にはまだ限界があることが確認されている。その解決策として、本研究課題では現実世界のように常に状況や文脈が変化する環境に対応可能なマルチモーダルモデルを提案する。このモデルは、言語情報だけでなく、視覚情報、聴覚情報を統合的かつ逐次的に学習する能力を持つ。これにより、AIはユーザーの現在の状況をより深く理解し、それに基づいた適切な対応を提供することが可能となる。着任の2022年8月より開始した今年度は、前半に実験環境の構築やシステム開発に向けた関連研究のサーベイ、それらの再現実験、本研究課題において最終的に必要となる、数量推論や知識推論、ユーザーフィードバック生成に関わる深層学習モデルの研究開発を行い、後半以降ではそれらの成果の研究発表（国際会議採択件数3件、国内会議6件、招待講演4件）、および次年度に向けたマルチモーダルモデルのサーベイ、再現実験を開始した。

In modern society, natural language processing is necessary because it is possible to consider the context of human beings and AI. This is the first time I've ever seen a person who's been in a relationship with someone who's been in a relationship with someone else. The problem is that the static context is necessary, and the dynamic context is important. A party may be unable to confirm the identity of the person in question, or may be unable to confirm the identity of the person in question. Therefore, this research topic proposes solutions to the current world's changing conditions and contexts. The ability to integrate speech information, visual information, and visual information is maintained. The current situation of the AI is well understood, and it is possible to provide appropriate information. August 2022, 2020, 2021, 2022, 2023, 2024, 2025, 2026, 2027, 2028, 2029, 2020, 202020, 2020, 202020 (3 international conferences, 6 domestic conferences, 4 hospitality lectures), the next year's start of production

项目成果

ニューラル記号推論における推論過程の教示方法

神经符号推理中推理过程的教学方法

• 发表时间: 2023
• 作者: 青木洋一;工藤慧音;Ana Brassard;栗林樹生;吉川将司;坂口慶祐;乾健太郎
• 通讯作者: 乾健太郎

因果的プロンプトによる NLI の敵対的ロバスト性の強化

通过因果提示增强 NLI 的对抗稳健性

• 发表时间: 2023
• 作者: Pride Kavumba;Ana Brassard;Benjamin Heinzerling;坂口慶祐;乾健太郎
• 通讯作者: 乾健太郎

Twist Decoding: Diverse Generators Guide Each Other

• DOI: 10.48550/arxiv.2205.09273
• 发表时间: 2022-05
• 期刊: Spatial Information Research
• 影响因子: 2.4
• 作者: Jungo Kasai;Keisuke Sakaguchi;Ronan Le Bras;Hao Peng;Ximing Lu;Dragomir R. Radev;Yejin Choi;Noah A. Smith

Towards grammatically-informed feedback comments

走向符合语法的反馈评论

• 发表时间: 2023
• 作者: Diana Galvan-Sosa;Steven Coyne;坂口慶祐;乾健太郎
• 通讯作者: 乾健太郎

Empirical Investigation of Neural Symbolic Reasoning Strategies

• DOI: 10.48550/arxiv.2302.08148
• 发表时间: 2023-02
• 期刊: ArXiv
• 作者: Yoichi Aoki;Keito Kudo;Tatsuki Kuribayashi;Ana Brassard;Masashi Yoshikawa;Keisuke Sakaguchi;Kentaro Inui