Prediction as a basis for skilled reading: insights from modern language models.
Prediction as a basis for skilled reading: insights from modern language models.
复制标题
DOI：
10.1098/rsos.211837
复制
发表时间：
2022-06
影响因子：
3.5
通讯作者：
中科院分区：
文献类型：
--
作者：
阅读不是人类与生俱来的能力，然而，讲英语的成年人阅读速度惊人。这项研究考虑了即将到来的单词的预测如何影响这种熟练的行为。我们使用强大的语言模型（GPT-2）来预测文本段落中即将出现的单词。这些预测非常准确，并且显示出与成年人阅读相同段落时的眼动行为的细粒度方面密切相关，包括是否跳过下一个单词以及花费多长时间。我们的研究结果表明，对即将出现的单词的预测可以基于对文本统计数据的分析，这些预测指导我们的眼睛如何在很短的时间尺度上询问文本。这些发现为阅读和语言理解开辟了新的视角，并说明了现代语言模型为人类语言处理提供信息的能力。
Reading is not an inborn human capability, and yet, English-speaking adults read with impressive speed. This study considered how predictions of upcoming words impact on this skilled behaviour. We used a powerful language model (GPT-2) to derive predictions of upcoming words in text passages. These predictions were highly accurate and showed a tight relationship to fine-grained aspects of eye-movement behaviour when adults read those same passages, including whether to skip the next word and how long to spend on it. Strong predictions that were incorrect resulted in a prediction error cost on fixation durations. Our findings suggest that predictions for upcoming words can be made based on the analysis of text statistics and that these predictions guide how our eyes interrogate text at very short timescales. These findings open new perspectives on reading and language comprehension and illustrate the capability of modern language models to inform understanding of human language processing.
登录
查看更多内容
影响因子：
7.7
作者：
Nieuwland MS;Politzer-Ahles S;Heyselaar E;Segaert K;Darley E;Kazanina N;Von Grebmer Zu Wolfsthurn S;Bartolozzi F;Kogan V;Ito A;Mézière D;Barr DJ;Rousselet GA;Ferguson HJ;Busch-Moreno S;Fu X;Tuomainen J;Kulakova E;Husband EM;Donaldson DI;Kohút Z;Rueschemeyer SA;Huettig F
通讯作者：
Huettig F
影响因子：
64.8
作者：
KUTAS, M;HILLYARD, SA
通讯作者：
HILLYARD, SA
DOI：
10.1037/0096-1523.30.4.720
发表时间：
2004-08-01
影响因子：
2.1
作者：
Rayner, K;Ashby, J;Reichle, ED
通讯作者：
Reichle, ED
影响因子：
2.3
作者：
Huettig, Falk;Mani, Nivedita
通讯作者：
Mani, Nivedita
DOI：
10.1146/annurev-linguistics-032020-051035
发表时间：
2021-01-01
期刊：
ANNUAL REVIEW OF LINGUISTICS, VOL 7
影响因子：
--
作者：
Linzen, Tal;Baroni, Marco
通讯作者：
Baroni, Marco