BLiMP: The Benchmark of Linguistic Minimal Pairs for English
BLiMP: The Benchmark of Linguistic Minimal Pairs for English
复制标题
BLiMP：英语语言最小对的基准
DOI：
10.1162/tacl_a_00321
复制
发表时间：
2020
影响因子：
10.9
通讯作者：
Bowman, Samuel R.
中科院分区：
文献类型：
--
作者：
Warstadt, Alex;Parrish, Alicia;Liu, Haokun;Mohananey, Anhad;Peng, Wei;Wang, Sheng-Fu;Bowman, Samuel R.
我们介绍了语言最小对的基准（BLiMP），1一个挑战集，用于评估语言模型（LM）对英语中主要语法现象的语言知识。BLiMP由67个独立的数据集组成，每个数据集包含1,000个最小的对，也就是说，对最小的不同的句子，在语法上的可接受性和隔离的具体现象，在句法，形态或语义。我们根据语言学家制作的语法模板生成数据，人类与标签的总体一致率为96.4%。我们通过观察n-gram、LSTM和Transformer（GPT-2和Transformer-XL）LM是否为每个最小对中的可接受句子分配更高的概率来评估它们。我们发现，国家的最先进的模型识别可靠的协议相关的形态对比，但他们的斗争与一些微妙的语义和句法现象，如负极性项目和提取岛屿。
We introduce The Benchmark of Linguistic Minimal Pairs (BLiMP),1 a challenge set for evaluating the linguistic knowledge of language models (LMs) on major grammatical phenomena in English. BLiMP consists of 67 individual datasets, each containing 1,000 minimal pairs—that is, pairs of minimally different sentences that contrast in grammatical acceptability and isolate specific phenomenon in syntax, morphology, or semantics. We generate the data according to linguist-crafted grammar templates, and human aggregate agreement with the labels is 96.4%. We evaluate n-gram, LSTM, and Transformer (GPT-2 and Transformer-XL) LMs by observing whether they assign a higher probability to the acceptable sentence in each minimal pair. We find that state-of-the-art models identify morphological contrasts related to agreement reliably, but they struggle with some subtle semantic and syntactic phenomena, such as negative polarity items and extraction islands.
登录
查看更多内容
核心语法：极简方法
DOI：
--
发表时间：
2003
期刊：
影响因子：
--
作者：
David Adger
通讯作者：
David Adger
影响因子：
2.6
作者：
BOCK, K;MILLER, CA
通讯作者：
MILLER, CA
DOI：
10.1162/tacl_a_00290
发表时间：
2019-01-01
影响因子：
10.9
作者：
Warstadt, Alex;Singh, Amanpreet;Bowman, Samuel R.
通讯作者：
Bowman, Samuel R.
DOI：
10.7275/f7yj-1n62
发表时间：
2020
期刊：
--
影响因子：
--
作者：
R. Chaves
通讯作者：
R. Chaves
DOI：
10.18653/v1/n19-1334
发表时间：
2019
期刊：
Applied Physics A
影响因子：
--
作者：
Ethan Gotlieb Wilcox;Peng Qian;Richard Futrell;Miguel Ballesteros;R. Levy
通讯作者：
R. Levy