CLiMP: A Benchmark for Chinese Language Model Evaluation
CLiMP: A Benchmark for Chinese Language Model Evaluation
复制标题
CLiMP：中文语言模型评估基准
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Katharina Kann
中科院分区：
文献类型：
--
作者：
Beilei Xiang;Changbing Yang;Yu Li;Alex Warstadt;Katharina Kann
对语言模型的语言学分析有助于对语言模型的理解和改进。在这里，我们介绍了语料库的中文语言最小对（CLiMP），以调查什么知识中国LMs收购。CLiMP由1000个最小对（MP）的16个句法对比在汉语中，涵盖9个主要的汉语语言现象。MP是半自动生成的，人类与CLiMP中标签的一致性为95.8%。我们在CLiMP上评估了11种不同的LM，包括n-gram，LSTM和中国BERT。我们发现，量名一致和动词补语选择是模型通常表现最好的现象。然而，模型在ba构造、绑定和填充缺口依赖性方面做得最多。总体而言，中国BERT达到了81.8%的平均准确率，而LSTM和5-gram的性能仅略高于机会水平。
Linguistically informed analyses of language models (LMs) contribute to the understanding and improvement of such models. Here, we introduce the corpus of Chinese linguistic minimal pairs (CLiMP) to investigate what knowledge Chinese LMs acquire. CLiMP consists of sets of 1000 minimal pairs (MPs) for 16 syntactic contrasts in Chinese, covering 9 major Chinese linguistic phenomena. The MPs are semi-automatically generated, and human agreement with the labels in CLiMP is 95.8%. We evaluate 11 different LMs on CLiMP, covering n-grams, LSTMs, and Chinese BERT. We find that classifier–noun agreement and verb complement selection are the phenomena that models generally perform best at. However, models struggle the most with the ba construction, binding, and filler-gap dependencies. Overall, Chinese BERT achieves an 81.8% average accuracy, while the performances of LSTMs and 5-grams are only moderately above chance level.
DOI：
--
发表时间：
2000
期刊：
--
影响因子：
--
作者：
Dan Jurafsky;James H. Martin
通讯作者：
Dan Jurafsky;James H. Martin
DOI：
10.1162/tacl_a_00290
发表时间：
2019-01-01
影响因子：
10.9
作者：
Warstadt, Alex;Singh, Amanpreet;Bowman, Samuel R.
通讯作者：
Bowman, Samuel R.
BLiMP：英语语言最小对的基准
DOI：
10.1162/tacl_a_00321
发表时间：
2020
影响因子：
10.9
作者：
Warstadt, Alex;Parrish, Alicia;Liu, Haokun;Mohananey, Anhad;Peng, Wei;Wang, Sheng-Fu;Bowman, Samuel R.
通讯作者：
Bowman, Samuel R.