Modeling Past and Future for Neural Machine Translation
Modeling Past and Future for Neural Machine Translation
复制标题
神经机器翻译的过去和未来建模
DOI：
10.1162/tacl_a_00011
复制
发表时间：
2017-11
期刊：
影响因子：
--
通讯作者：
Zhaopeng Tu
中科院分区：
文献类型：
--
作者：
Zaixiang Zheng;Hao Zhou;Shujian Huang;Lili Mou;Xinyu Dai;Jiajun Chen;Zhaopeng Tu
现有的神经机器翻译系统在解码阶段没有明确地模拟已翻译和未翻译的内容。为了解决这个问题，我们提出了一种新的机制，将源信息分为两部分：已翻译的过去内容和未翻译的未来内容，这两部分由两个额外的递归层建模。过去和未来的内容被反馈到注意模型和解码器状态，这为神经机器翻译(NMT)系统提供了关于已翻译和未翻译内容的知识。实验结果表明，该方法显著提高了汉英、德英、英德翻译任务的性能。具体地说，该模型在翻译质量和对齐错误率方面都优于传统的覆盖模型。
Existing neural machine translation systems do not explicitly model what has been translated and what has not during the decoding phase. To address this problem, we propose a novel mechanism that separates the source information into two parts: translated Past contents and untranslated Future contents, which are modeled by two additional recurrent layers. The Past and Future contents are fed to both the attention model and the decoder states, which provides Neural Machine Translation (NMT) systems with the knowledge of translated and untranslated contents. Experimental results show that the proposed approach significantly improves the performance in Chinese-English, German-English, and English-German translation tasks. Specifically, the proposed model outperforms the conventional coverage model in terms of both the translation quality and the alignment error rate.
登录
查看更多内容
影响因子：
19
作者：
Michael J. Denkowski;Graham Neubig
通讯作者：
Michael J. Denkowski;Graham Neubig
DOI：
10.1162/tacl_a_00048
发表时间：
2016-08
影响因子：
10.9
作者：
Zhaopeng Tu;Yang Liu;Zhengdong Lu;Xiaohua Liu;Hang Li
通讯作者：
Zhaopeng Tu;Yang Liu;Zhengdong Lu;Xiaohua Liu;Hang Li
DOI：
--
发表时间：
2016-10
期刊：
--
影响因子：
--
作者：
Jimmy Ba;Geoffrey E. Hinton;Volodymyr Mnih;Joel Z. Leibo;Catalin Ionescu
通讯作者：
Jimmy Ba;Geoffrey E. Hinton;Volodymyr Mnih;Joel Z. Leibo;Catalin Ionescu
DOI：
--
发表时间：
2014-10
期刊：
ArXiv
影响因子：
--
作者：
Alex Graves;Greg Wayne;Ivo Danihelka
通讯作者：
Alex Graves;Greg Wayne;Ivo Danihelka
影响因子：
2
作者：
S. Levinson
通讯作者：
S. Levinson