Language Adapters for Zero Shot Neural Machine Translation
Language Adapters for Zero Shot Neural Machine Translation
复制标题
用于零样本神经机器翻译的语言适配器
DOI：
10.18653/v1/2020.emnlp-main.361
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
L. Besacier
中科院分区：
文献类型：
--
作者：
Jerin Philip;Alexandre Berard;Matthias Gallé;L. Besacier
我们提出了一种新的适配层形式来适应多语言模型。它们比现有的适配器层更具参数效率，同时获得同样好或更好的性能。这些层特定于一种语言(而不是双语适配器)，允许组合它们并将其概括为看不见的语言对。在这种零命中率的设置下，他们获得了+2.77点BLEU的中位数提高，超过了TED演讲训练的强大的20种语言的多语言转换器基线。
We propose a novel adapter layer formalism for adapting multilingual models. They are more parameter-efficient than existing adapter layers while obtaining as good or better performance. The layers are specific to one language (as opposed to bilingual adapters) allowing to compose them and generalize to unseen language-pairs. In this zero-shot setting, they obtain a median improvement of +2.77 BLEU points over a strong 20-language multilingual Transformer baseline trained on TED talks.