Reconstructing visual experiences from brain activity evoked by natural movies.
Reconstructing visual experiences from brain activity evoked by natural movies.
复制标题
DOI：
10.1016/j.cub.2011.08.031
复制
发表时间：
2011-10-11
期刊：
影响因子：
9.2
通讯作者：
Gallant, Jack L.
中科院分区：
文献类型：
--
作者：
Nishimoto, Shinji;Vu, An T.;Naselaris, Thomas;Benjamini, Yuval;Yu, Bin;Gallant, Jack L.
人类大脑活动的定量建模可以提供关于皮层表征的重要见解，并可以形成大脑解码设备的基础。最近的功能性磁共振成像（fMRI）研究模拟了静态视觉模式引起的大脑活动，并表明有可能从大脑活动测量中重建这些图像。然而，使用fMRI测量的血氧水平依赖（BOLD）信号非常慢，因此很难模拟由动态刺激（如自然电影）引起的大脑活动。在这里，我们提出了一个新的运动能量编码模型，在很大程度上克服了这一限制。我们的运动能量模型描述了快速的视觉信息和缓慢的血流动力学分离的组件。我们记录了BOLD信号在枕颞视觉皮层的人类受试者谁被动地观看自然电影，并分别适合个别体素的编码模型。拟合模型的可视化揭示了早期视觉区域如何表示移动刺激。为了证明我们的方法的能力，我们还构建了一个贝叶斯解码器，通过结合估计的编码模型与采样的自然电影先验。解码器提供了显着的自然电影重建，捕捉所观看的电影的时空结构。这些结果表明，在自然条件下测量的动态大脑活动可以使用当前的功能磁共振成像技术解码。
Quantitative modeling of human brain activity can provide crucial insights about cortical representations, and can form the basis for brain decoding devices. Recent functional magnetic resonance imaging (fMRI) studies have modeled brain activity elicited by static visual patterns, and have shown that it is possible to reconstruct these images from brain activity measurements. However, blood oxygen level dependent (BOLD) signals measured using fMRI are very slow, so it has been difficult to model brain activity elicited by dynamic stimuli such as natural movies. Here we present a new motion-energy encoding model that largely overcome this limitation. Our motion-energy model describes fast visual information and slow hemodynamics by separate components. We recorded BOLD signals in occipito-temporal visual cortex of human subjects who passively watched natural movies, and fit the encoding model separately to individual voxels. Visualization of the fit models reveals how early visual areas represent moving stimuli. To demonstrate the power of our approach we also constructed a Bayesian decoder, by combining estimated encoding models with a sampled natural movie prior. The decoder provides remarkable reconstructions of natural movies, capturing the spatio-temporal structure of the viewed movie. These results demonstrate that dynamic brain activity measured under naturalistic conditions can be decoded using current fMRI technology.
登录
查看更多内容
影响因子：
9.2
作者：
Kamitani, Yukiyasu;Tong, Frank
通讯作者：
Tong, Frank
影响因子：
5.7
作者：
FRISTON, KJ;FRITH, CD;FRACKOWIAK, RSJ
通讯作者：
FRACKOWIAK, RSJ
影响因子：
3.5
作者：
Li, Yunfeng;Qian, Haili;Lin, Chen
通讯作者：
Lin, Chen
影响因子：
1.9
作者：
Hansen, Thorsten;Gegenfurtner, Karl F.
通讯作者：
Gegenfurtner, Karl F.
影响因子：
3.7
作者：
Feinberg DA;Moeller S;Smith SM;Auerbach E;Ramanna S;Gunther M;Glasser MF;Miller KL;Ugurbil K;Yacoub E
通讯作者：
Yacoub E