Group-level brain decoding with deep learning.
Group-level brain decoding with deep learning.
复制标题
DOI：
10.1002/hbm.26500
复制
发表时间：
2023-12-01
影响因子：
4.8
通讯作者：
Woolrich, Mark
中科院分区：
文献类型：
--
作者：
Csaky, Richard;van Es, Mats W. J.;Jones, Oiwi Parker;Woolrich, Mark
随着脑机接口和神经表征研究的应用，解码脑成像数据越来越受欢迎。解码通常是特定于受试者的，由于受试者之间的差异很大，因此不能很好地概括所有受试者。克服这一问题的技术不仅可以提供更丰富的神经科学见解，而且还可以使组级模型优于特定主题模型。在这里，我们提出了一种使用主题嵌入的方法，类似于自然语言处理中的词嵌入，来学习和利用主题之间的结构可变性作为解码模型的一部分，我们对WaveNet架构的适应用于分类。我们将此应用于脑磁图数据，其中15名受试者观看了118张不同的图像，每张图像有30个例子；使用图像表示后的整个1 s窗口对图像进行分类。我们表明，深度学习和主题嵌入的结合对于缩小主题级和组级解码模型之间的性能差距至关重要。重要的是，群体模型在低精度对象上的表现优于主题模型（尽管稍微损害了高精度对象），并且可以帮助初始化主题模型。虽然我们通常没有发现组级模型比主题级模型表现得更好，但在更大的数据集上，组建模的性能预计会更高。为了在群体水平上提供生理解释，我们利用排列特征重要性。这提供了对模型中编码的时空和光谱信息的深入了解。所有代码可在GitHub （https://github.com/ricsinaruto/MEG-group-decode）。我们建议使用主题嵌入来学习和利用脑磁图解码中受试者之间的结构变异性。研究表明，深度学习和主题嵌入的结合对于缩小主题级和群体级模型之间的性能差距至关重要，群体模型在低精度主题上的表现优于主题模型。
Decoding brain imaging data are gaining popularity, with applications in brain‐computer interfaces and the study of neural representations. Decoding is typically subject‐specific and does not generalise well over subjects, due to high amounts of between subject variability. Techniques that overcome this will not only provide richer neuroscientific insights but also make it possible for group‐level models to outperform subject‐specific models. Here, we propose a method that uses subject embedding, analogous to word embedding in natural language processing, to learn and exploit the structure in between‐subject variability as part of a decoding model, our adaptation of the WaveNet architecture for classification. We apply this to magnetoencephalography data, where 15 subjects viewed 118 different images, with 30 examples per image; to classify images using the entire 1 s window following image presentation. We show that the combination of deep learning and subject embedding is crucial to closing the performance gap between subject‐ and group‐level decoding models. Importantly, group models outperform subject models on low‐accuracy subjects (although slightly impair high‐accuracy subjects) and can be helpful for initialising subject models. While we have not generally found group‐level models to perform better than subject‐level models, the performance of group modelling is expected to be even higher with bigger datasets. In order to provide physiological interpretation at the group level, we make use of permutation feature importance. This provides insights into the spatiotemporal and spectral information encoded in the models. All code is available on GitHub (https://github.com/ricsinaruto/MEG-group-decode). We propose using subject embeddings to learn and exploit the structure in between‐subject variability in MEG decoding. We show that the combination of deep learning and subject embedding is crucial to closing the performance gap between subject‐ and group‐level models, with group models outperforming subject models on low‐accuracy subjects.
登录
查看更多内容
DOI：
10.1186/1744-9081-3-62
发表时间：
2007-12-10
期刊：
Behavioral and brain functions : BBF
影响因子：
--
作者：
Demanuele C;James CJ;Sonuga-Barke EJ
通讯作者：
Sonuga-Barke EJ
影响因子：
64.8
作者：
Harris CR;Millman KJ;van der Walt SJ;Gommers R;Virtanen P;Cournapeau D;Wieser E;Taylor J;Berg S;Smith NJ;Kern R;Picus M;Hoyer S;van Kerkwijk MH;Brett M;Haldane A;Del Río JF;Wiebe M;Peterson P;Gérard-Marchant P;Sheppard K;Reddy T;Weckesser W;Abbasi H;Gohlke C;Oliphant TE
通讯作者：
Oliphant TE
影响因子：
5.7
作者：
Guggenmos, Matthias;Sterzer, Philipp;Cichy, Radoslaw Martin
通讯作者：
Cichy, Radoslaw Martin
影响因子：
4.3
作者：
Gramfort A;Luessi M;Larson E;Engemann DA;Strohmeier D;Brodbeck C;Goj R;Jas M;Brooks T;Parkkonen L;Hämäläinen M
通讯作者：
Hämäläinen M
DOI：
10.1109/tpami.2023.3263181
发表时间：
2023-09-01
影响因子：
23.6
作者：
Du, Changde;Fu, Kaicheng;He, Huiguang
通讯作者：
He, Huiguang