权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Self-supervised feature construction methods for multi-modal neuroimaging data

多模态神经影像数据的自监督特征构建方法

基本信息

批准号：
21H03516
负责人：
川鍋一晃
金额：
$ 11.07万
依托单位：
Advanced Telecommunications Research Institute International
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

教師ラベルの少ないマルチモーダル脳イメージングデータに対して有効な、自己教師あり学習による特徴量構築法の開発を目的とし、本年度は以下の3つの課題に取り組んだ。第一に、異なる被験者やセッションなど、脳波データの課題であるドメイン間差を較正するため、脳情報転移学習法TSMNetを開発した。この手法は、深層学習と幾何学的アプローチを融合し、共分散行列特徴量の空間での幾何学的バッチ正則化を組み込むことで、教師情報なしにドメイン適応を行う。実際に、複数の脳波ブレイン・コンピュータ・インタフェース公開データの被験者間転移設定において、TSMNetが深層学習や幾何学的アプローチ単体の従来法を有意に改善することを示した。本成果論文は機械学習のトップ会議NeurIPS2022に採択された。また、TSMNetと自己教師あり学習法TCLとの統合可能性を検討した。第二に、fMRIのような3次元データと、EEGのような時系列データを情報統合するための手法として、それぞれの自己教師あり学習済の特徴量構築モジュールを組み込んだ深層ネットワークアーキテクチャScanQAモデルを提案した。その評価のために、ScanReferをベースにScanQAデータセットを構築し、提案手法の3次元質問応答のパフォーマンスが従来法を改善することを示した。本成果論文はコンピュータビジョンのトップ会議CVPR2022に採択された。今後、マルチモーダル脳イメージングデータへの本手法の適用を検討していく。第三に、fMRIデータに対する自己教師あり学習について、当初計画のSCLと、最近発表された、大規模データに基づくBERTベースの学習済モデル(Thomas et al., 2023)を比較検討した。その結果、後者の方が有望であることがわかったので、今後はこのアプローチに従って実装を進める計画である。

Teachers ラベルの less ないマルチモーダル脳イメージングデータにし seaborne て have sharper な, his teacher あり learning による method for constructing special 徴 amount の open 発を purpose とし, below this year's はの 3 つにの subject group take りんだ. First に, different なる by 験やセッションなど, 脳 wave データの subject であるドメイをン difference than are するため, 脳 intelligence planning learning method TSMNet を open 発した. この technique は, deep learning と geometry アプローチしを fusion, covariance ranks 徴 quantity の space での geometry バッチ regularization を group み込むことで, teachers intelligence なしにドメイン optimum 応うを line. Be interstate に, plural の脳 wave ブレイン · コンピュータ · インタフェース public データの by 験 set planning between において, TSMNet が deep learning や geometry アプローチ単 body の従 method を intentionally に to improve することを shown した. This achievement paper, "に Machine Learning", was adopted at the トップ conference NeurIPS2022に and 択された. Youdaoplaceholder0, TSMNetと self-teacher あ learning method TCLと <s:1> integration possibility を検 discuss たた. The second に, fMRI のような 3 dimensional データと, EEG のような series when データを intelligence integration するための gimmick として, それぞれの his teacher あり learning 済の, build モ徴 quantity ジュールを group み込んだ deep ネットワークアーキテクチャ ScanQA モデルを proposal した. その review 価のために, ScanRefer をベースに ScanQA データセットを build し, proposal の 3 dimensional question answer 応のパフォーマンスが従 method を to improve することを shown した. The research paper of this achievement is ココピュタビジョタビジョタビジョトップトップ. The conference CVPR2022に adopted 択された. In the future, マルチモーダル脳イメージングデータへの this gimmick の is を beg し検ていく. Third に, fMRI データにす seaborne る his teacher あり learning について, original plan の SCL と, recently 発 table された, large-scale データに base づく BERT ベースの learning 済モデル (Thomas et al., 2023) beg しを compare 検た. その results, the latter のが could であることがわかったので, future はこのアプローチに従って be fit をめる project である.