Self-supervised feature construction methods for multi-modal neuroimaging data

教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題 に取り組んだ。第一に、異なる被験者やセッションなど、脳波データの課題であるドメイン間差を較正するため、脳情報転移学習法TSMNetを開発した。この手法は、深層学習と幾何学的アプローチを融合し、共分散行列特徴量の空間での幾何学的バッチ正則化を組み込むことで、教師情報なしにドメイン適応を行う。実際に、複数の脳波ブレイン・コンピュータ・インタフェース公開データの被験者間転移設定において、TSMNetが深層学習や幾何学的アプローチ単体の従来法を有意に改善することを示した。本成果論文は機械学習のトップ会議NeurIPS2022に採択された。また、TSMNetと自己教師あり学習法TCLとの統合可能性を検討した。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築モジュールを組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案した。その評価のために、ScanReferをベースにScanQAデータセットを構築し、提案手法の3次元質問応答のパフォーマンスが従来法を改善することを示した。本成果論文はコンピュータビジョンのトップ会議CVPR2022に採択された。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、fMRIデータに対する自己教師あり学習について、当初計画のSCLと、最近発表された、大規模データに基づくBERTベースの学習済モデル(Thomas et al., 2023)を比較検討した。その結果、後者の方が有望であることがわかったので、今後はこのアプローチに従って実装を進める計画である。

教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題 に取り組んだ。第一に、異なる被験者やセッションなど、脳波データの課題であるドメイン間差を較正するため、脳情報転移学習法TSMNetを開発した。この手法は、深層学習と幾何学的アプローチを融合し、共分散行列特徴量の空間での幾何学的バッチ正則化を組み込むことで、教師情報なしにドメイン適応を行う。実際に、複数の脳波ブレイン・コンピュータ・インタフェース公開データの被験者間転移設定において、TSMNetが深層学習や幾何学的アプローチ単体の従来法を有意に改善することを示した。本成果論文は機械学習のトップ会議NeurIPS2022に採択された。また、TSMNetと自己教師あり学習法TCLとの統合可能性を検討した。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築モジュールを組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案した。その評価のために、ScanReferをベースにScanQAデータセットを構築し、提案手法の3次元質問応答のパフォーマンスが従来法を改善することを示した。本成果論文はコンピュータビジョンのトップ会議CVPR2022に採択された。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、fMRIデータに対する自己教師あり学習について、当初計画のSCLと、最近発表された、大規模データに基づくBERTベースの学習済モデル(Thomas et al., 2023)を比較検討した。その結果、後者の方が有望であることがわかったので、今後はこのアプローチに従って実装を進める計画である。