A Context-Aware Recurrent Encoder for Neural Machine Translation
A Context-Aware Recurrent Encoder for Neural Machine Translation
复制标题
用于神经机器翻译的上下文感知循环编码器
DOI：
10.1109/taslp.2017.2751420
复制
发表时间：
2017-12
期刊：
影响因子：
--
通讯作者：
Hong Duan
中科院分区：
文献类型：
--
作者：
Biao Zhang;Deyi Xiong;Jinsong Su;Hong Duan
神经机器翻译（NMT）在很大程度上依赖于其编码器来捕捉源句子的潜在含义，从而生成忠实的翻译。然而，大多数NMT编码器都是建立在单向或双向循环神经网络上的，它们要么不处理未来上下文，要么简单地将历史和未来上下文连接起来形成上下文相关的单词表示，隐含地假设两种类型的上下文信息的独立性。在本文中，我们提出了一种新的上下文感知循环编码器（CAEncoder），作为广泛使用的双向编码器的替代方案，以便将未来和历史上下文完全纳入学习源表示中。我们的CAEncoder涉及两层层次结构：底层总结历史信息，而上层将总结的历史和未来上下文组装为源表示。此外，CAEncoder在训练和解码方面与双向RNN编码器一样高效。在汉英和英德翻译任务上的实验表明，CAEncoder在广泛使用的NMT系统上取得了比双向RNN编码器显著的改进。1
Neural machine translation (NMT) heavily relies on its encoder to capture the underlying meaning of a source sentence so as to generate a faithful translation. However, most NMT encoders are built upon either unidirectional or bidirectional recurrent neural networks, which either do not deal with future context or simply concatenate the history and future context to form context-dependent word representations, implicitly assuming the independence of the two types of contextual information. In this paper, we propose a novel context-aware recurrent encoder (CAEncoder), as an alternative to the widely-used bidirectional encoder, such that the future and history contexts can be fully incorporated into the learned source representations. Our CAEncoder involves a two-level hierarchy: The bottom level summarizes the history information, whereas the upper level assembles the summarized history and future context into source representations. Additionally, CAEncoder is as efficient as the bidirectional RNN encoder in terms of both training and decoding. Experiments on both Chinese–English and English–German translation tasks show that CAEncoder achieves significant improvements over the bidirectional RNN encoder on a widely-used NMT system. 1
登录
查看更多内容
DOI：
--
发表时间：
2005
期刊：
--
影响因子：
--
作者：
M. Snover;B. Dorr;R. Schwartz;Linnea Micciulla;R. Weischedel
通讯作者：
M. Snover;B. Dorr;R. Schwartz;Linnea Micciulla;R. Weischedel
DOI：
10.3115/1557769.1557821
发表时间：
2007-06
期刊：
--
影响因子：
--
作者：
Philipp Koehn;Hieu T. Hoang;Alexandra Birch;Chris Callison-Burch;Marcello Federico;N. Bertoldi;Brooke Cowan
通讯作者：
Philipp Koehn;Hieu T. Hoang;Alexandra Birch;Chris Callison-Burch;Marcello Federico;N. Bertoldi;Brooke Cowan
DOI：
--
发表时间：
2006
期刊：
--
影响因子：
--
作者：
M. Snover;B. Dorr;Richard M. Schwartz;Linnea Micciulla;J. Makhoul
通讯作者：
M. Snover;B. Dorr;Richard M. Schwartz;Linnea Micciulla;J. Makhoul
DOI：
--
发表时间：
2014-05
期刊：
--
影响因子：
--
作者：
C. Buck;Kenneth Heafield;B. V. Ooyen
通讯作者：
C. Buck;Kenneth Heafield;B. V. Ooyen
DOI：
--
发表时间：
2004-07
期刊：
--
影响因子：
--
作者：
Philipp Koehn
通讯作者：
Philipp Koehn