Decoding the Semantic Content of Natural Movies from Human Brain Activity.
Decoding the Semantic Content of Natural Movies from Human Brain Activity.
复制标题
DOI：
10.3389/fnsys.2016.00081
复制
发表时间：
2016
影响因子：
3
通讯作者：
Gallant JL
中科院分区：
文献类型：
--
作者：
Huth AG;Lee T;Nishimoto S;Bilenko NY;Vu AT;Gallant JL
对任何大脑定量模型的一项关键测试是表明该模型可用于准确解码来自诱发的大脑活动的信息。最近的几项神经影像学研究已经从人脑活动中解码了静态视觉图像的结构或语义内容。在这里，我们提出了一种解码算法，可以从功能性 MRI 测量的人脑活动信号中解码有关自然电影中存在的对象和动作类别的详细信息。解码是使用分层逻辑回归 (HLR) 模型完成的，该模型基于从 WordNet 语义分类法手动分配的标签。该模型可以同时解码有关特定类别和一般类别的信息，同时尊重它们之间的关系。我们的结果表明，我们可以从平均血氧水平依赖 (BOLD) 反应中高精度地解码许多对象和动作类别的存在（ROC 曲线下面积 > 0.9）。此外，我们使用这个框架来测试 WordNet 分类法中定义的语义关系在人脑中是否以相同的方式表示。该分析表明，一般类别与非典型示例（例如生物体和植物）之间的层次关系似乎并未反映在 BOLD fMRI 测量的表示中。
One crucial test for any quantitative model of the brain is to show that the model can be used to accurately decode information from evoked brain activity. Several recent neuroimaging studies have decoded the structure or semantic content of static visual images from human brain activity. Here we present a decoding algorithm that makes it possible to decode detailed information about the object and action categories present in natural movies from human brain activity signals measured by functional MRI. Decoding is accomplished using a hierarchical logistic regression (HLR) model that is based on labels that were manually assigned from the WordNet semantic taxonomy. This model makes it possible to simultaneously decode information about both specific and general categories, while respecting the relationships between them. Our results show that we can decode the presence of many object and action categories from averaged blood-oxygen level-dependent (BOLD) responses with a high degree of accuracy (area under the ROC curve > 0.9). Furthermore, we used this framework to test whether semantic relationships defined in the WordNet taxonomy are represented the same way in the human brain. This analysis showed that hierarchical relationships between general categories and atypical examples, such as organism and plant, did not seem to be reflected in representations measured by BOLD fMRI.
登录
查看更多内容
影响因子：
9.2
作者：
Nishimoto, Shinji;Vu, An T.;Naselaris, Thomas;Benjamini, Yuval;Yu, Bin;Gallant, Jack L.
通讯作者：
Gallant, Jack L.
影响因子：
16.2
作者：
Kriegeskorte N;Mur M;Ruff DA;Kiani R;Bodurka J;Esteky H;Tanaka K;Bandettini PA
通讯作者：
Bandettini PA
影响因子：
2.6
作者：
ROSCH, E;MERVIS, CB;BOYESBRAEM, P
通讯作者：
BOYESBRAEM, P
DOI：
10.1111/j.2517-6161.1995.tb02031.x
发表时间：
1995-01-01
影响因子：
5.8
作者：
BENJAMINI, Y;HOCHBERG, Y
通讯作者：
HOCHBERG, Y
影响因子：
3.2
作者：
Carlson, TA;Schrater, P;He, S
通讯作者：
He, S