BabyBERTa: Learning More Grammar With Small-Scale Child-Directed Language
BabyBERTa: Learning More Grammar With Small-Scale Child-Directed Language
复制标题
BabyBERTa：通过小型儿童导向语言学习更多语法
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
D. Roth
中科院分区：
文献类型：
--
作者：
Philip A. Huebner;Elior Sulem;C. Fisher;D. Roth
基于 Transformer 的语言模型席卷了 NLP 世界。然而，它们解决语言习得研究中重要问题的潜力在很大程度上被忽视了。在这项工作中，我们检查了 RoBERTa（Liu 等人，2019）在使用 5M 个单词的语言习得数据语料库进行训练时的语法知识，以模拟 1 至 6 岁儿童可用的输入。使用行为探测范式，我们发现从未预测未屏蔽标记的 RoBERTa-base 的较小版本（我们称之为 BabyBERTa）获得的语法知识与预先训练的 RoBERTa-base 相当 -并且参数减少了约 15 倍，单词减少了约 6,000 倍。我们讨论了构建更有效的模型的含义以及从儿童可用的输入中学习语法的意义。最后，为了支持这方面的研究，我们发布了新颖的语法测试套件，该套件与儿童导向输入的小词汇量兼容。
Transformer-based language models have taken the NLP world by storm. However, their potential for addressing important questions in language acquisition research has been largely ignored. In this work, we examined the grammatical knowledge of RoBERTa (Liu et al., 2019) when trained on a 5M word corpus of language acquisition data to simulate the input available to children between the ages 1 and 6. Using the behavioral probing paradigm, we found that a smaller version of RoBERTa-base that never predicts unmasked tokens, which we term BabyBERTa, acquires grammatical knowledge comparable to that of pre-trained RoBERTa-base - and does so with approximately 15X fewer parameters and 6,000X fewer words. We discuss implications for building more efficient models and the learnability of grammar from input available to children. Lastly, to support research on this front, we release our novel grammar test suite that is compatible with the small vocabulary of child-directed input.
登录
查看更多内容
BLiMP：英语语言最小对的基准
DOI：
10.1162/tacl_a_00321
发表时间：
2020
影响因子：
10.9
作者：
Warstadt, Alex;Parrish, Alicia;Liu, Haokun;Mohananey, Anhad;Peng, Wei;Wang, Sheng-Fu;Bowman, Samuel R.
通讯作者：
Bowman, Samuel R.
DOI：
10.1146/annurev-linguistics-032020-051035
发表时间：
2021-01-01
期刊：
ANNUAL REVIEW OF LINGUISTICS, VOL 7
影响因子：
--
作者：
Linzen, Tal;Baroni, Marco
通讯作者：
Baroni, Marco
人工语法中子类别的分布式学习：类别泛化和子类别限制。
影响因子：
4.3
作者：
Reeder,PatriciaA;Newport,ElissaL;Aslin,RichardN
通讯作者：
Aslin,RichardN
DOI：
10.1162/tacl_a_00304
发表时间：
2020-01-01
影响因子：
10.9
作者：
McCoy, R. Thomas;Frank, Robert;Linzen, Tal
通讯作者：
Linzen, Tal