現実世界の逐次的環境変化に協調的に適応するマルチモーダル自然言語理解モデル

点击翻译按钮获取中文摘要

現代社会において、人間とAIによる自然なインタラクションや協働を可能にするためには、ユーザーの文脈を考慮し柔軟に対応できる自然言語処理モデルが必要不可欠である。このようなモデルは、ユーザーのニーズに応じた対話を可能にし、AIとユーザー間のコミュニケーションのをより円滑にすると考えられる。しかし、現時点では「静的な文脈のみを必要とするベンチマーク上での高い精度と、動的な文脈が重要になるアプリケーションでの低い精度とのギャップ」が問題となっている。つまり、一方ではAIは一定の文脈におけるパフォーマンスを向上させる一方で、より広範で複雑な状況に対応する能力にはまだ限界があることが確認されている。その解決策として、本研究課題では現実世界のように常に状況や文脈が変化する環境に対応可能なマルチモーダルモデルを提案する。このモデルは、言語情報だけでなく、視覚情報、聴覚情報を統合的かつ逐次的に学習する能力を持つ。これにより、AIはユーザーの現在の状況をより深く理解し、それに基づいた適切な対応を提供することが可能となる。着任の2022年8月より開始した今年度は、前半に実験環境の構築やシステム開発に向けた関連研究のサーベイ、それらの再現実験、本研究課題において最終的に必要となる、数量推論や知識推論、ユーザーフィードバック生成に関わる深層学習モデルの研究開発を行い、後半以降ではそれらの成果の研究発表（国際会議採択件数3件、国内会議6件、招待講演4件）、および次年度に向けたマルチモーダルモデルのサーベイ、再現実験を開始した。