Generating text from functional brain images.
Generating text from functional brain images.
复制标题
DOI：
10.3389/fnhum.2011.00072
复制
发表时间：
2011
影响因子：
2.9
通讯作者：
Botvinick M
中科院分区：
文献类型：
--
作者：
Pereira F;Detre G;Botvinick M
最近的工作表明，有可能拍摄在观看场景期间获得的大脑图像，并从这些图像重建场景的近似。在这里，我们表明，它也是可能的，以生成文本的精神内容反映在大脑图像。我们从参与者阅读具体物品名称时收集的图像开始（例如，“公寓”），同时也看到了该项目的线条图命名。我们从文本数据中建立了一个具体概念的心理语义表征模型，并学会了将这种表征的各个方面映射到相应的大脑图像中的激活模式。为了验证这种映射，在不访问关于被忽略的个体大脑图像的项目的信息的情况下，我们能够从每个项目中生成语义相关的单词的集合（例如，“门”，“窗户”为“公寓”）。此外，我们表明，生成这样的话的能力，使我们能够执行分类任务，从而定量验证我们的方法。
Recent work has shown that it is possible to take brain images acquired during viewing of a scene and reconstruct an approximation of the scene from those images. Here we show that it is also possible to generate text about the mental content reflected in brain images. We began with images collected as participants read names of concrete items (e.g., “Apartment’’) while also seeing line drawings of the item named. We built a model of the mental semantic representation of concrete concepts from text data and learned to map aspects of such representation to patterns of activation in the corresponding brain image. In order to validate this mapping, without accessing information about the items viewed for left-out individual brain images, we were able to generate from each one a collection of semantically pertinent words (e.g., “door,” “window” for “Apartment’’). Furthermore, we show that the ability to generate such words allows us to perform a classification task and thus validate our method quantitatively.
登录
查看更多内容
影响因子：
5.7
作者：
Pereira F;Mitchell T;Botvinick M
通讯作者：
Botvinick M
影响因子：
4
作者：
Kellis S;Miller K;Thomson K;Brown R;House P;Greger B
通讯作者：
Greger B
影响因子：
7.5
作者：
Mitchell, TM;Hutchinson, R;Newman, S
通讯作者：
Newman, S
DOI：
10.1037/0278-7393.6.2.174
发表时间：
1980-01-01
期刊：
JOURNAL OF EXPERIMENTAL PSYCHOLOGY-HUMAN LEARNING AND MEMORY
影响因子：
--
作者：
SNODGRASS, JG;VANDERWART, M
通讯作者：
VANDERWART, M
影响因子：
5.7
作者：
Davatzikos, C;Ruparel, K;Langleben, DD
通讯作者：
Langleben, DD