权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ヒト脳内知覚動画再構成技術の開発

人脑感知视频重建技术的发展

基本信息

批准号：
22KJ1801
负责人：
白川健
金额：
$ 1.09万
依托单位：
Kyoto University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2023
资助国家：
日本
起止时间：
2023-03-08 至 2024-03-31
项目状态：
已结题

项目摘要

本研究課題では，脳情報を解読する技術を拡張することによって，　動的な視知覚情報を外在化する手法を開発することを目指している．　今年度は，　事前の計画通り、動画知覚時の脳活動パターンから，　動画認識に使用される深層学習モデルの中間層の活動値を予測し，　予測された特徴量から知覚された動画を再構成する手法を確立した．具体的には，動画を空間成分と時間成分 (運動成分) に分解して考えた．空間成分の再構成には，既存の脳活動から画像再構成モデル (Shen et al., 2019) を使用した．運動成分の再構成には，運動を認識する深層ニューラルネットワーク (Mineault et al., 2021) の特徴量を脳活動から予測した．そして，潜在空間が滑らかな画像生成モデル (Sauer et al., 2022) の潜在特徴量から生成される動画の特徴量と脳活動から予測された特徴量に近づくように潜在特徴量を最適化することで動画を生成する手法を開発した．また，　手法の有効性を判定するために，動画提示時の脳活動を計測した．　インターネット上から自然な動画を多数収集した (550動画) . これらの動画刺激を１名の被験者に提示し，その時の脳活動をfMRIで計測，機械学習の手法で解析することで，脳計測データから知覚された動画を再構成することが可能かを調べた．　再構成された動画は，知覚された動画における物体の時空間の位置や，滑らかな運動が反映されていることを定性的，定量的に確認した．これらの結果から，提案した手法により脳活動から知覚された動画の運動情報を反映した再構成が可能であることが示唆された．

This research topic is about the development of visual information technology. This year, the method of predicting the activity value of the middle layer using deep learning and animation recognition is established. Specific, animation, spatial component, temporal component (motion component), decomposition. Spatial component reconstruction, re-construction, re-construction (Shen et al., 2019) Use. The reconstruction of motion components is a deep process of motion recognition (Mineault et al., 2021) and the characteristic quantity of activity. (Sauer et al., 2022) Potential feature quantity from generation to animation feature quantity and activity from prediction to optimization of potential feature quantity from generation to animation feature quantity. The method of determining whether there is an activity Most of the animations were collected (550 animations) . This animation stimulates one of the subjects to prompt, all of the time the activity is measured by fMRI, and the mechanical learning technique is analyzed. Then compose the animation, know the animation, the time and space position of the object, the sliding motion, the qualitative and quantitative confirmation. The motion information of the motion picture is reconstructed.