Speed Up the Training of Neural Machine Translation
Speed Up the Training of Neural Machine Translation
复制标题
加速神经机器翻译的训练
DOI：
10.1007/s11063-019-10084-y
复制
发表时间：
2019-07
影响因子：
3.1
通讯作者：
Yuangang Li
中科院分区：
文献类型：
--
作者：
Xinyue Liu;Weixuan Wang;Wenxin Liang;Yuangang Li
近年来，神经机器翻译（NMT）取得了显著的成就。虽然现有的模型提供了合理的翻译性能，但它们花费了太多的训练时间。特别是当语料库规模巨大时，计算量会非常大。在本文中，我们提出了一种新的NMT模型的基础上，传统的双向递归神经网络（bi-RNN）。在这个模型中，我们应用了一个tanh激活函数，它可以更充分地学习未来和历史上下文信息，以加快训练过程。在德英和英法翻译任务上的实验结果表明，与现有的模型相比，该模型可以节省大量的训练时间，并提供更好的翻译性能。
Neural machine translation (NMT) has achieved notable achievements in recent years. Although existing models provide reasonable translation performance, they cost too much training time. Especially, when the corpus is enormous, their computational cost will be extremely high. In this paper, we propose a novel NMT model based on the conventional bidirectional recurrent neural network (bi-RNN). In this model, we apply a tanh activation function, which can learn the future and history context information more sufficiently, to speed up the training process. Experimental results on tasks of German–English and English–French translation demonstrate that the proposed model can save much training time compared with the state-of-the-art models and provide better translation performances.
登录
查看更多内容
用于神经机器翻译的上下文感知循环编码器
DOI：
10.1109/taslp.2017.2751420
发表时间：
2017-12
期刊：
IEEE TALSP
影响因子：
--
作者：
Biao Zhang;Deyi Xiong;Jinsong Su;Hong Duan
通讯作者：
Hong Duan
DOI：
10.1109/taslp.2016.2598304
发表时间：
2016-11-01
影响因子：
5.4
作者：
Chen, Xie;Liu, Xunying;Woodland, Philip C.
通讯作者：
Woodland, Philip C.
DOI：
--
发表时间：
2015-11
期刊：
CoRR
影响因子：
--
作者：
Marc'Aurelio Ranzato;S. Chopra;Michael Auli;Wojciech Zaremba
通讯作者：
Marc'Aurelio Ranzato;S. Chopra;Michael Auli;Wojciech Zaremba
DOI：
10.18653/v1/d18-1337
发表时间：
2018
期刊：
--
影响因子：
--
作者：
Ashkan Alinejad;Maryam Siahbani;Anoop Sarkar
通讯作者：
Ashkan Alinejad;Maryam Siahbani;Anoop Sarkar
影响因子：
5.2
作者：
Lijun Wu;Yingce Xia;Li Zhao;Fei Tian;Tao Qin;J. Lai;Tie-Yan Liu
通讯作者：
Lijun Wu;Yingce Xia;Li Zhao;Fei Tian;Tao Qin;J. Lai;Tie-Yan Liu