映像処理と生理信号解析を組み合わせた感情ライフログの実現

本年度は本研究の柱である、非接触・非侵襲記録を満たす、MRIデータによる精神活動の推定を行った。データはパブリックに利用できるCOBREデータセットを用いた。当データセットは、統合失調症を発症している患者群および健常群の安静時MRIから構成される。本研究では、深層学習を用いて安静時脳血流動態画像(resting-state functional MRI: rs-fMRI)の特徴量設計を行い、その性質を評価した。rs-fMRIは脳を表す3次元画像が時間方向に複数枚連なった、4次元信号である。本研究では、それぞれの3次元画像(T2*強調画像)に対し、主に3次元畳み込み層によって構成される自己符号化ネットワーク、および自己教師学習ネットワークによる特徴抽出を提案し、(i)特徴量の個人内分散、および(ii)精神疾患の線形判別によってそれぞれの特徴量を評価した。本研究では1被験者に対して複数得られる特徴量の重心を、その被験者の代表特徴量とした。個人内分散の小ささを評価するために、訓練に用いていないテストデータについて、各被験者の代表特徴からの距離が近い順に150個特徴量を取ったとき、いくつその被験者の特徴量が得られるかを評価した。先行研究でしばしば使われるPCAによって抽出された特徴量や、ROIの平均値を使った特徴量だと、5.6%がその被験者の特徴量であったのに対し、自己符号化ネットワークで抽出された特徴量では16.4%、自己教師学習ネットワークで抽出された特徴量では81.4%と大幅な改善が見られた。また、患者群・非患者群の線形判別では、自己教師学習ネットワークによる特徴量のみが、有意にランダムよりも精度良く患者と非患者を判別することができた。

本年度は本研究の柱である、非接触・非侵襲記録を満たす、MRIデータによる精神活動の推定を行った。データはパブリックに利用できるCOBREデータセットを用いた。当データセットは、統合失調症を発症している患者群および健常群の安静時MRIから構成される。本研究では、深層学習を用いて安静時脳血流動態画像(resting-state functional MRI: rs-fMRI)の特徴量設計を行い、その性質を評価した。rs-fMRIは脳を表す3次元画像が時間方向に複数枚連なった、4次元信号である。本研究では、それぞれの3次元画像(T2*強調画像)に対し、主に3次元畳み込み層によって構成される自己符号化ネットワーク、および自己教師学習ネットワークによる特徴抽出を提案し、(i)特徴量の個人内分散、および(ii)精神疾患の線形判別によってそれぞれの特徴量を評価した。本研究では1被験者に対して複数得られる特徴量の重心を、その被験者の代表特徴量とした。個人内分散の小ささを評価するために、訓練に用いていないテストデータについて、各被験者の代表特徴からの距離が近い順に150個特徴量を取ったとき、いくつその被験者の特徴量が得られるかを評価した。先行研究でしばしば使われるPCAによって抽出された特徴量や、ROIの平均値を使った特徴量だと、5.6%がその被験者の特徴量であったのに対し、自己符号化ネットワークで抽出された特徴量では16.4%、自己教師学習ネットワークで抽出された特徴量では81.4%と大幅な改善が見られた。また、患者群・非患者群の線形判別では、自己教師学習ネットワークによる特徴量のみが、有意にランダムよりも精度良く患者と非患者を判別することができた。