Developing brain-integrated AI performing multimodal pattern recognition through a brain information space

点击翻译按钮获取中文摘要

マルチモーダル認識に利用可能な脳情報モデルを作成するため、視覚、聴覚、言語の異なるモダリティ入力に対する脳活動を計測するための機能的磁気共鳴画像(fMRI)実験を実施した。今年度は映像刺激を使用した実験を追加で実施し、新たに64名分の脳活動データを取得した。さらに、視覚、聴覚、言語のそれぞれを扱う深層学習モデル(VGG-16、SoundNet、BERT)を基に、マルチモダリティ入力から脳活動を予測するモデルを構築し、予測した脳活動を介してマルチモーダル認識問題を解くことに成功した。特に、映像と言語のモダリティをまたいで認知内容(印象や選好など)を推定するモデルを作成し、脳活動予測を介さない(脳情報を利用しない)場合に比べて、高い推定性能を確認できた。また同時に、個々人の脳活動から学習した予測モデルを利用することで、入力に紐付いた個々人の認知内容の個人差を推定することに成功した。さらに、脳活動予測を媒介することで、深層学習モデルのマルチモーダル認識パターンが脳に近づくことが分かり、脳らしく振る舞うマルチモーダル認識モデルの実現に近づいた。