ヒト脳内知覚動画再構成技術の開発

点击翻译按钮获取中文摘要

本研究課題では， 脳情報を解読する技術を拡張することによって，　動的な視知覚情報を外在化する手法を開発することを目指している．　今年度は，　事前の計画通り、動画知覚時の脳活動パターンから，　動画認識に使用される深層学習モデルの中間層の活動値を予測し，　予測された特徴量から知覚された動画を再構成する手法を確立した． 具体的には， 動画を空間成分と時間成分 (運動成分) に分解して考えた． 空間成分の再構成には， 既存の脳活動から画像再構成モデル (Shen et al., 2019) を使用した． 運動成分の再構成には， 運動を認識する深層ニューラルネットワーク (Mineault et al., 2021) の特徴量を脳活動から予測した． そして，潜在空間が滑らかな画像生成モデル (Sauer et al., 2022) の潜在特徴量から生成される動画の特徴量と脳活動から予測された特徴量に近づくように潜在特徴量を最適化することで動画を生成する手法を開発した．また，　手法の有効性を判定するために， 動画提示時の脳活動を計測した．　インターネット上から自然な動画を多数収集した (550動画) . これらの動画刺激を１名の被験者に提示し，その時の脳活動をfMRIで計測， 機械学習の手法で解析することで， 脳計測データから知覚された動画を再構成することが可能かを調べた．　再構成された動画は，知覚された動画における物体の時空間の位置や， 滑らかな運動が反映されていることを定性的， 定量的に確認した． これらの結果から， 提案した手法により脳活動から知覚された動画の運動情報を反映した再構成が可能であることが示唆された．