Morphology Matters: A Multilingual Language Modeling Analysis
Morphology Matters: A Multilingual Language Modeling Analysis
复制标题
形态学很重要：多语言语言建模分析
DOI：
10.1162/tacl_a_00365
复制
发表时间：
2021
影响因子：
10.9
通讯作者：
Schwartz, Lane
中科院分区：
文献类型：
--
作者：
Park, Hyunji Hayley;Zhang, Katherine J.;Haley, Coleman;Steimel, Kenneth;Liu, Han;Schwartz, Lane
多语言语言建模的先前研究（例如，Cotterell等人，; Mielke等人，）在屈折形态学是否使语言更难建模的问题上存在分歧。我们试图解决分歧，并扩大这些研究。我们编译了一个更大的语料库，包含92种语言的145个圣经译本和大量的类型学特征。我们填补了几种语言的类型学数据，并考虑基于语料库的措施，形态复杂性，除了专家制作的类型学特征。我们发现，当使用BPE分割的数据训练LSTM模型时，几种形态学测量与更高的相似性显著相关。我们还研究了语言动机的子词分割策略，如Morfessor和语音状态转换器（FSTs），并发现这些分割策略产生更好的性能，并减少语言的形态对语言建模的影响。
Prior studies in multilingual language modeling (e.g., Cotterell et al., ; Mielke et al., ) disagree on whether or not inflectional morphology makes languages harder to model. We attempt to resolve the disagreement and extend those studies. We compile a larger corpus of 145 Bible translations in 92 languages and a larger number of typological features. We fill in missing typological data for several languages and consider corpus-based measures of morphological complexity in addition to expert-produced typological features. We find that several morphological measures are significantly associated with higher surprisal when LSTM models are trained with BPE-segmented data. We also investigate linguistically motivated subword segmentation strategies like Morfessor and Finite-State Transducers (FSTs) and find that these segmentation strategies yield better performance and reduce the impact of a language’s morphology on language modeling.
登录
查看更多内容
影响因子：
2.7
作者：
Christodouloupoulos C;Steedman M
通讯作者：
Steedman M
拼写一次，随处召唤：两级开放词汇语言模型
DOI：
10.1609/aaai.v33i01.33016843
发表时间：
2019
期刊：
Proceedings of the AAAI Conference on Artificial Intelligence
影响因子：
--
作者：
Mielke, Sebastian J.;Eisner, Jason
通讯作者：
Eisner, Jason
什么样的语言难以进行语言建模？
DOI：
10.18653/v1/p19-1491
发表时间：
2019
期刊：
Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL
影响因子：
--
作者：
Mielke, Sebastian J.;Cotterell, Ryan;Gorman, Kyle;Roark, Brian;Eisner, Jason
通讯作者：
Eisner, Jason
更新的方法
DOI：
--
发表时间：
2012
期刊：
影响因子：
--
作者：
Fukuzawa;K.;Dannoura;M. and Shibata;H
通讯作者：
H
：序列化 ISO SynAF 语法对象模型
影响因子：
2.7
作者：
Laurent Romary;Amir Zeldes;F. Zipser
通讯作者：
F. Zipser