Personalized visual encoding model construction with small data.
Personalized visual encoding model construction with small data.
复制标题
利用小数据构建个性化视觉编码模型。
DOI：
10.1038/s42003-022-04347-z
复制
发表时间：
2022-12-17
影响因子：
5.9
通讯作者：
中科院分区：
文献类型：
--
作者：
在脑刺激-反应映射中量化群体异质性可以允许洞察自下而上的神经系统中的可变性，所述可变性又可以与个体的行为或病理状态相关。预测大脑对刺激的反应的编码模型是捕捉这种关系的一种方法。然而，他们通常需要大量的fMRI数据来达到最佳的准确性。在这里，我们提出了一种集成的方法来创建新的个人与相对较少的数据，通过建模每个主题的预测响应向量作为其他主题的预测响应向量的线性组合的编码模型。我们发现，这些用数百个图像响应对训练的集成编码模型，与用20，000个图像响应对训练的模型相比，精度没有什么不同。重要的是，集成编码模型保留了图像反应关系中的个体间差异模式。我们还表明，所提出的方法是强大的，对域移位验证数据与不同的扫描仪和实验设置。此外，我们表明，集成编码模型能够发现个体间的差异，在不同的面部区域的反应，动物与人脸图像使用最近开发的NeuroGen框架。我们的方法显示了使用现有密集采样数据的潜力，即从单个个体收集的大量数据，以有效地创建准确的，个性化的编码模型，并随后为在不同实验条件下扫描的新个体创建个性化的最佳合成图像。整体编码方法使用具有密集采样数据的现有个体编码模型来预测具有少量数据的新个体对视觉刺激的大脑反应。
Quantifying population heterogeneity in brain stimuli-response mapping may allow insight into variability in bottom-up neural systems that can in turn be related to individual’s behavior or pathological state. Encoding models that predict brain responses to stimuli are one way to capture this relationship. However, they generally need a large amount of fMRI data to achieve optimal accuracy. Here, we propose an ensemble approach to create encoding models for novel individuals with relatively little data by modeling each subject’s predicted response vector as a linear combination of the other subjects’ predicted response vectors. We show that these ensemble encoding models trained with hundreds of image-response pairs, achieve accuracy not different from models trained on 20,000 image-response pairs. Importantly, the ensemble encoding models preserve patterns of inter-individual differences in the image-response relationship. We also show the proposed approach is robust against domain shift by validating on data with a different scanner and experimental setup. Additionally, we show that the ensemble encoding models are able to discover the inter-individual differences in various face areas’ responses to images of animal vs human faces using a recently developed NeuroGen framework. Our approach shows the potential to use existing densely-sampled data, i.e. large amounts of data collected from a single individual, to efficiently create accurate, personalized encoding models and, subsequently, personalized optimal synthetic images for new individuals scanned under different experimental conditions. An ensemble encoding approach uses existing individual encoding models with densely-sampled data to predict brain responses to visual stimuli in novel individuals with small amounts of data.
登录
查看更多内容
影响因子：
5.7
作者：
Gu Z;Jamison KW;Khosla M;Allen EJ;Wu Y;St-Yves G;Naselaris T;Kay K;Sabuncu MR;Kuceyeski A
通讯作者：
Kuceyeski A
影响因子：
64.8
作者：
Epstein, R;Kanwisher, N
通讯作者：
Kanwisher, N
影响因子：
25
作者：
Dworkin, Jordan D.;Linn, Kristin A.;Bassett, Danielle S.
通讯作者：
Bassett, Danielle S.
影响因子：
56.9
作者：
Bashivan, Pouya;Kar, Kohitij;DiCarlo, James J.
通讯作者：
DiCarlo, James J.
影响因子：
4.3
作者：
Kay, Kendrick N.;Rokem, Ariel;Wandell, Brian A.
通讯作者：
Wandell, Brian A.