Synchronous bidirectional inference for neural sequence generation
Synchronous bidirectional inference for neural sequence generation
复制标题
用于神经序列生成的同步双向推理
DOI：
10.1016/j.artint.2020.103234
复制
发表时间：
2019-02
影响因子：
14.4
通讯作者：
Zong Chengqing
中科院分区：
文献类型：
--
作者：
Zhang Jiajun;Zhou Long;Zhao Yang;Zong Chengqing
在序列到序列生成任务（例如机器翻译和抽象摘要）中，通常以从左到右的方式执行推理，以逐个标记地产生结果。神经方法，如LSTM和自我注意力网络，现在能够在推理过程中充分利用左侧的所有预测历史假设，但无法同时访问任何未来（右侧）信息，并且通常会产生不平衡的输出（例如，在汉英翻译中，左侧部分比右侧部分准确得多）。在这项工作中，我们提出了一个同步的双向推理模型，同时使用从左到右和从右到左的解码和交互式生成输出。首先，我们介绍了一种新的波束搜索算法，有利于同步双向解码。然后，我们提出的核心方法，使从左到右和从右到左的解码相互作用，以便在推理过程中同时利用历史和未来的预测。我们将所提出的模型应用于LSTM和自注意力网络。此外，我们提出了一种新的微调为基础的参数优化算法，除了简单的两遍策略。大量的机器翻译和摘要摘要实验表明，我们的同步双向推理模型可以实现显着的改善强基线。
In sequence to sequence generation tasks (e.g. machine translation and abstractive summarization), inference is generally performed in a left-to-right manner to produce the result token by token. The neural approaches, such as LSTM and self-attention networks, are now able to make full use of all the predicted history hypotheses from left side during inference, but cannot meanwhile access any future (right side) information and usually generate unbalanced outputs (e.g. left parts are much more accurate than right ones in Chinese-English translation). In this work, we propose a synchronous bidirectional inference model to generate outputs using both left-to-right and right-to-left decoding simultaneously and interactively. First, we introduce a novel beam search algorithm that facilitates synchronous bidirectional decoding. Then, we present the core approach which enables left-to-right and right-to-left decoding to interact with each other, so as to utilize both the history and future predictions simultaneously during inference. We apply the proposed model to both LSTM and self-attention networks. Furthermore, we propose a novel fine-tuning based parameter optimization algorithm in addition to the simple two-pass strategy. The extensive experiments on machine translation and abstractive summarization demonstrate that our synchronous bidirectional inference model can achieve remarkable improvements over the strong baselines.
登录
查看更多内容
DOI：
--
发表时间：
2019-01
期刊：
ArXiv
影响因子：
--
作者：
Felix Wu;Angela Fan;Alexei Baevski;Yann Dauphin;Michael Auli
通讯作者：
Felix Wu;Angela Fan;Alexei Baevski;Yann Dauphin;Michael Auli
神经机器翻译的过去和未来建模
DOI：
10.1162/tacl_a_00011
发表时间：
2017-11
期刊：
TACL2018
影响因子：
--
作者：
Zaixiang Zheng;Hao Zhou;Shujian Huang;Lili Mou;Xinyu Dai;Jiajun Chen;Zhaopeng Tu
通讯作者：
Zhaopeng Tu
DOI：
10.3115/1220575.1220634
发表时间：
2005-10
期刊：
--
影响因子：
--
作者：
Yoshimasa Tsuruoka;Junichi Tsujii
通讯作者：
Yoshimasa Tsuruoka;Junichi Tsujii
DOI：
--
发表时间：
2017-01
期刊：
ArXiv
影响因子：
--
作者：
Jiwei Li;Will Monroe;Dan Jurafsky
通讯作者：
Jiwei Li;Will Monroe;Dan Jurafsky
DOI：
10.3115/1072228.1072278
发表时间：
2002-08
期刊：
--
影响因子：
--
作者：
Taro Watanabe;E. Sumita
通讯作者：
Taro Watanabe;E. Sumita