High-quality reconstruction of images and sounds from EEG signals

根据脑电图信号高质量重建图像和声音

• 批准号: 22K19807
• 负责人: 本吉 勇
• 金额: $ 4.08万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Challenging Research (Exploratory)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-06-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K19807/
• 关键词: 脳波; ＢＭＩ; 画像; 音声; 脳; BMI; デコーディング; 視覚

(1) 20の異なる材質カテゴリからなる約200の物体表面画像に対する視覚誘発電位を計測し，SVMなどの機械学習やEEGNetなどの深層モデルを用いて脳波から材質カテゴリや光沢などの材質特性知覚の判別を試みた結果，いずれも200 ms程度の潜時で十分に判別が可能であることを見出した．さらに，MVAEを用いて画像の深層特徴を脳波から逆推定し，表面のカラー画像そのものを写真レベルの精細さで再構成することに成功した．これらの知見を国内外の学会で発表し，発表賞を得た． (2) 13の異なるカテゴリからなる約200の自然情景画像に対する視覚誘発電位を計測し，EEGNetを用いて抽出した脳波の深層特徴に基づいて情景のカテゴリや人工性・開放性などのプロパティを判別可能であることを見出した．さらに，gradCAMを適用して，どの電極のどの時刻の脳波が判別に寄与したかを示すマップを形成した．その結果，異なるプロパティの判別では異なる時空間マップが得られることがわかった．これらの知見をプリプリントとして公開後，国際学術誌に投稿した．また，(2)と同様の手法で情景画像を復元し，その画像から情景カテゴリの認識が可能であるかどうかを調べる心理実験研究を開始した．(3) 約200の多彩な自然音について聴覚誘発電位を計測し，別の研究で得ていた音響テクスチャ知覚の二段階スペクトル空間を利用した逆相関分析を適用した．その結果，種々の一次・二次周波数帯域と相関する電位成分を抽出することに成功した．この知見を基礎として，深層モデルを用いた分析を開始した．

(1)The visual induction potential of the object surface image corresponding to 20 different materials was measured. The mechanical learning of SVM and EEGNet were used to determine the visual induction potential of the object surface image corresponding to 200 different materials. The latent time of 200 ms was found to be very possible. In addition, MVAE is successfully reconstructed by using the deep features of the image and the inverse estimation of the surface image. The knowledge of the Chinese Academy of Sciences at home and abroad is reflected in the achievements of the Chinese Academy of Sciences. (2)13. The visual induction potential of about 200 natural scene images was measured, and EEGNet was used to extract the deep features of the basic scene. In addition, gradCAM is applicable to the determination of the time of the electrode. The result is that the difference between the two is different. After the publication of this knowledge, the International Academic Journal will submit it to the public. (2) The same method is used to restore the situation, and the picture is used to understand the situation. (3)About 200 of the colorful natural sounds were measured by the induced potential, and the results of the study were obtained by using the inverse correlation analysis of the two-stage space. As a result, the potential components of the first and second order frequency bands were successfully extracted. The foundation of knowledge and understanding is the foundation of knowledge and understanding.

项目成果

視聴覚テクスチャの二段階スペクトルモデルと音響質感の知覚

视听纹理的两阶段谱模型和声学纹理的感知

• 发表时间: 2022
• 作者: Aditya Arie Nugraha;Kouhei Sekiguchi;Mathieu Fontaine;Yoshiaki Bando;Kazuyoshi Yoshii;丸山玄徳・岡田康祐・本吉勇 (2022). 視聴覚テクスチャの二段階スペクトルモデルと音響質感の知覚． 日本視覚学会2022年夏季大会 .
• 通讯作者: 丸山玄徳・岡田康祐・本吉勇 (2022). 視聴覚テクスチャの二段階スペクトルモデルと音響質感の知覚． 日本視覚学会2022年夏季大会 .