Shared computational principles for language processing in humans and deep language models.
Shared computational principles for language processing in humans and deep language models.
复制标题
DOI：
10.1038/s41593-022-01026-4
复制
发表时间：
2022-03
影响因子：
25
通讯作者：
Hasson U
中科院分区：
文献类型：
--
作者：
Goldstein A;Zada Z;Buchnik E;Schain M;Price A;Aubrey B;Nastase SA;Feder A;Emanuel D;Cohen A;Jansen A;Gazula H;Choe G;Rao A;Kim C;Casto C;Fanda L;Doyle W;Friedman D;Dugan P;Melloni L;Reichart R;Devore S;Flinker A;Hasenfratz L;Levy O;Hassidim A;Brenner M;Matias Y;Norman KA;Devinsky O;Hasson U
与传统的语言模型不同，深度学习的进步产生了一种新型的预测（自回归）深度语言模型（DLM）。使用自我监督的下一个单词预测任务，这些模型在给定的上下文中生成适当的语言响应。在当前的研究中，9名参与者收听了30分钟的播客，同时使用皮质电图（ECoG）记录了他们的大脑反应。我们提供的经验证据表明，人类大脑和自回归DLMs在处理相同的自然叙事时共享三个基本的计算原则：（1）两者都在单词开始之前进行连续的下一个单词预测;（2）两者都将其发病前预测与传入单词相匹配，以计算发病后的惊喜;（3）两者都依赖于上下文嵌入来表示自然上下文中的单词。总之，我们的研究结果表明，自回归DLMs提供了一个新的和生物学上可行的计算框架，研究语言的神经基础。深度语言模型彻底改变了自然语言处理。本文发现了深度语言模型和人类大脑之间共享的三个计算原理，这可以改变我们对语言神经基础的理解。
Departing from traditional linguistic models, advances in deep learning have resulted in a new type of predictive (autoregressive) deep language models (DLMs). Using a self-supervised next-word prediction task, these models generate appropriate linguistic responses in a given context. In the current study, nine participants listened to a 30-min podcast while their brain responses were recorded using electrocorticography (ECoG). We provide empirical evidence that the human brain and autoregressive DLMs share three fundamental computational principles as they process the same natural narrative: (1) both are engaged in continuous next-word prediction before word onset; (2) both match their pre-onset predictions to the incoming word to calculate post-onset surprise; (3) both rely on contextual embeddings to represent words in natural contexts. Together, our findings suggest that autoregressive DLMs provide a new and biologically feasible computational framework for studying the neural basis of language. Deep language models have revolutionized natural language processing. The paper discovers three computational principles shared between deep language models and the human brain, which can transform our understanding of the neural basis of language.
登录
查看更多内容
影响因子：
2.5
作者：
Frank, Stefan L.;Otten, Leun J.;Vigliocco, Gabriella
通讯作者：
Vigliocco, Gabriella
DOI：
10.1111/j.2517-6161.1995.tb02031.x
发表时间：
1995-01-01
影响因子：
5.8
作者：
BENJAMINI, Y;HOCHBERG, Y
通讯作者：
HOCHBERG, Y
影响因子：
3.4
作者：
Hasson U;Egidi G;Marelli M;Willems RM
通讯作者：
Willems RM
影响因子：
0.5
作者：
Bybee, J;Mcclelland, JL
通讯作者：
Mcclelland, JL
影响因子：
5.7
作者：
Breiman, L
通讯作者：
Breiman, L