权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

AI Driven Neural Activity Manipulation and Intelligence Engineering

人工智能驱动的神经活动操纵和智能工程

基本信息

批准号：
20J22906
负责人：
佐藤元重
金额：
$ 1.98万
依托单位：
The University of Tokyo
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2023-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J22906/
关键词：
neurofeedback brain computer interface auditory cortex local field potential machine learning explainable AI VQVAE integrated gradient 聴覚デコーディング脳機能拡張深層学習 Decoded Neurofeedback Local Field Potentials

项目摘要

脳と人工知能の融合による知能拡張研究を行った。ラットの聴覚認識能力には限界があり、人間の言語のような複雑な音認識が難しいが、聴覚皮質の脳波レベルでは深層学習を用いて言語の区別ができ、さらにラットが聞いた経験のないフレーズに対しても正しく脳波から言語を判別することに成功した。そしてこの結果を利用して、深層学習モデルの判別結果に応じて体性感覚皮質を異なるパターンでリアルタイムに刺激したところ、言語の聞き分けを学習できることが分かった。また学習成立後はフィードバック刺激をオフにしても、全く新しいフレーズを聞かせても正しく言語を聞き分けられるようになっていることも確認した。深層学習モデルが脳波のどの部分に注目して言語予測を行っていたか調べるIntegrated Gradientsの解析を行ったところ、特に学習後には、音源定位や周波数処理を担う領域で貢献度が下がり、学習やコミュニケーションに関わる領域での貢献度が上がる傾向を発見した。ラットにとって言語という概念は未知のものであるが、音の高次な情報処理を担う神経回路が言語予測にも適応して用いられた可能性を示している。加えて、深層学習がどこまで複雑な聴覚情報を解読できるか調べるため、言語の分類に用いていたネットワークよりもパラメータ数の多い予測モデルを作成した。このモデルは量子化された潜在空間を持つ音の生成モデルの潜在空間を予測する。訓練時には音声認識モデルと似た階層処理を持つように訓練するPerceptual Lossを導入した。その結果、脳波から音声スペクトログラムの再構成に成功した。この手法は、言語数やフレーズ数が上限となるクラス分類とは異なり、音の構成情報をそのまま脳波から再現することができるため、より汎用的な脳波解読及びニューロフィードバック実験に使用することができる。

The research of artificial intelligence fusion is carried out. The ability to recognize speech is difficult to recognize, and the ability to recognize speech is difficult to recognize. The ability to recognize speech is difficult to recognize. When these results are used, the discrimination results of the deep learning model can be used to stimulate the sensory cortex and stimulate the brain, so that speech can be learned. After the establishment of the study, the new language will be confirmed. Deep learning: the contribution of the Integrated Gradients to speech prediction, speech prediction, and frequency processing decreases, while the contribution of the learning and frequency processing increases. The concept of speech is unknown, and the high-order information processing of sound is involved in the mental loop, and the possibility of speech prediction is indicated. Add to this, deep learning, complex information interpretation, speech classification, and multiple prediction. The quantization of the potential space and the prediction of the potential space Perceptual Loss in Training As a result, the sound wave was replaced by the sound wave. The number of words, the number of words, the number of classes, the number of sounds, the sounds, the number of sounds, the number of sounds, the sounds,