Developing brain-integrated AI performing multimodal pattern recognition through a brain information space

开发大脑集成人工智能，通过大脑信息空间执行多模式模式识别

• 批准号: 21H03535
• 负责人: 西田 知史
• 金额: $ 11.15万
• 依托单位: National Institute of Information and Communications Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03535/
• 关键词: マルチモーダル認識; 人工知能; 深層学習; 脳; fMRI; 視覚; 聴覚; 言語; 音声

マルチモーダル認識に利用可能な脳情報モデルを作成するため、視覚、聴覚、言語の異なるモダリティ入力に対する脳活動を計測するための機能的磁気共鳴画像(fMRI)実験を実施した。今年度は映像刺激を使用した実験を追加で実施し、新たに64名分の脳活動データを取得した。さらに、視覚、聴覚、言語のそれぞれを扱う深層学習モデル(VGG-16、SoundNet、BERT)を基に、マルチモダリティ入力から脳活動を予測するモデルを構築し、予測した脳活動を介してマルチモーダル認識問題を解くことに成功した。特に、映像と言語のモダリティをまたいで認知内容(印象や選好など)を推定するモデルを作成し、脳活動予測を介さない(脳情報を利用しない)場合に比べて、高い推定性能を確認できた。また同時に、個々人の脳活動から学習した予測モデルを利用することで、入力に紐付いた個々人の認知内容の個人差を推定することに成功した。さらに、脳活動予測を媒介することで、深層学習モデルのマルチモーダル認識パターンが脳に近づくことが分かり、脳らしく振る舞うマルチモーダル認識モデルの実現に近づいた。

We do not know that we can make use of the information we may have to use to create a magnetic picture (fMRI) that can be used to create a picture of a person, and a person. This year, the image stimulus is used to add information, and the new name is used to obtain information in the activity program. Information, information, knowledge, knowledge, knowledge, In particular, the image is required to know the content (impression is selected), the presumption is made, the activity is tested, the comparison is made, and the performance of the presumption is confirmed. At the same time, two person-to-person activity models are used to make use of the two-person knowledge of the content to be presumed to be successful. You can learn more about the media, the media and the media.

项目成果

人工脳の構築へ向けた脳情報のモデル化

用于构建人工大脑的大脑信息建模

• 发表时间: 2022
• 作者: Ueda;Kazutaka;荒牧英治;西田知史
• 通讯作者: 西田知史

Asymmetry in Representations of Semantic Symmetry in the Human Brain

人脑中语义对称表示的不对称性

• 发表时间: 2022
• 作者: Wang J;Kawahata K;Blanc A;Nishimoto S;Nishida S
• 通讯作者: Nishida S

Validation of the Role of Attention Mechanism in Predicting Brain Activity

• DOI: 10.1109/scisisis55246.2022.10001915
• 发表时间: 2022-11
• 期刊: 2022 Joint 12th International Conference on Soft Computing and Intelligent Systems and 23rd International Symposium on Advanced Intelligent Systems (SCIS&ISIS)
• 作者: Haruka Taguchi;S. Nishida;Shinji Nishimoto;Ichiro Kobayashi

畳み込みニューラルネットワークによる脳活動予測を介した映像に対する嗜好の個人差推定

使用卷积神经网络通过大脑活动预测来估计视频偏好的个体差异

• 发表时间: 2022
• 作者: 川畑輝一;BLANC Antoine;西本伸志;西田知史
• 通讯作者: 西田知史

Individual differences of natural perceptual content in the human brain can be estimated via brain response prediction using deep neural networks

人脑中自然感知内容的个体差异可以通过使用深度神经网络的大脑反应预测来估计

• 发表时间: 2022
• 作者: Kawahata K;Blanc A;Nishimoto S;Nishida S
• 通讯作者: Nishida S