High-quality reconstruction of images and sounds from EEG signals

点击翻译按钮获取中文摘要

(1) 20の異なる材質カテゴリからなる約200の物体表面画像に対する視覚誘発電位を計測し，SVMなどの機械学習やEEGNetなどの深層モデルを用いて脳波から材質カテゴリや光沢などの材質特性知覚の判別を試みた結果，いずれも200 ms程度の潜時で十分に判別が可能であることを見出した．さらに，MVAEを用いて画像の深層特徴を脳波から逆推定し，表面のカラー画像そのものを写真レベルの精細さで再構成することに成功した．これらの知見を国内外の学会で発表し，発表賞を得た． (2) 13の異なるカテゴリからなる約200の自然情景画像に対する視覚誘発電位を計測し，EEGNetを用いて抽出した脳波の深層特徴に基づいて情景のカテゴリや人工性・開放性などのプロパティを判別可能であることを見出した．さらに，gradCAMを適用して，どの電極のどの時刻の脳波が判別に寄与したかを示すマップを形成した．その結果，異なるプロパティの判別では異なる時空間マップが得られることがわかった．これらの知見をプリプリントとして公開後，国際学術誌に投稿した．また，(2)と同様の手法で情景画像を復元し，その画像から情景カテゴリの認識が可能であるかどうかを調べる心理実験研究を開始した．(3) 約200の多彩な自然音について聴覚誘発電位を計測し，別の研究で得ていた音響テクスチャ知覚の二段階スペクトル空間を利用した逆相関分析を適用した．その結果，種々の一次・二次周波数帯域と相関する電位成分を抽出することに成功した．この知見を基礎として，深層モデルを用いた分析を開始した．