Optimizing Automatic Evaluation of Machine Translation with the ListMLE Approach
Optimizing Automatic Evaluation of Machine Translation with the ListMLE Approach
复制标题
使用 ListMLE 方法优化机器翻译的自动评估
DOI：
10.1145/3226045
复制
发表时间：
2018-11
影响因子：
2
通讯作者：
王明文
中科院分区：
文献类型：
--
作者：
李茂西;王明文
机器翻译的自动评测对于机器翻译系统的评测和开发至关重要。在这项研究中，我们提出了一个新的机器翻译自动评估模型。该模型将标准n-gram精度特征和句子语义映射特征与神经特征相结合，包括神经语言模型概率和翻译输出与参考译文之间的嵌入距离。我们优化模型与一个代表性的列表明智的学习排名的方法，ListMLE，在人类的排名评估。在WMT 2015年测试任务上的实验结果表明，与几种最先进的基线方法相比，所提出的方法与人类评估的相关性显著更好。特别是，结果证实，所提出的列表式学习排名方法是有用的和强大的优化人类排名评估方面的自动评估指标。深入的分析表明，采用ListMLE方法优化自动度量是一种合理的方法，加入神经特征可以获得比传统特征更大的改进。
Automatic evaluation of machine translation is critical for the evaluation and development of machine translation systems. In this study, we propose a new model for automatic evaluation of machine translation. The proposed model combines standard n-gram precision features and sentence semantic mapping features with neural features, including neural language model probabilities and the embedding distances between translation outputs and their reference translations. We optimize the model with a representative list-wise learning to rank approach, ListMLE, in terms of human ranking assessments. The experimental results on WMT’2015 Metrics task indicated that the proposed approach yields significantly better correlations with human assessments than several state-of-the-art baseline approaches. In particular, the results confirmed that the proposed list-wise learning to rank approach is useful and powerful for optimizing automatic evaluation metrics in terms of human ranking assessments. Deep analysis also demonstrated that optimizing automatic metrics with the ListMLE approach is a reasonable method and adding the neural features can gain considerable improvements compared with the traditional features.
登录
查看更多内容
DOI：
--
发表时间：
2010
期刊：
--
影响因子：
--
作者：
Lucia Specia;J. Giménez
通讯作者：
Lucia Specia;J. Giménez
中文翻译自动评估的单语字符对齐建模
DOI：
10.1145/2815619
发表时间：
2016-01
影响因子：
2
作者：
Maoxi Li;Mingwen Wang;Hanxi Li;Fan Xu
通讯作者：
Fan Xu
DOI：
10.18653/v1/w15-3047
发表时间：
2015-09
期刊：
--
影响因子：
--
作者：
Rohit Gupta;Constantin Orasan;Josef van Genabith
通讯作者：
Rohit Gupta;Constantin Orasan;Josef van Genabith
DOI：
--
发表时间：
2005
期刊：
--
影响因子：
--
作者：
M. Snover;B. Dorr;R. Schwartz;Linnea Micciulla;R. Weischedel
通讯作者：
M. Snover;B. Dorr;R. Schwartz;Linnea Micciulla;R. Weischedel
DOI：
--
发表时间：
2010-07
期刊：
--
影响因子：
--
作者：
Chang Liu;Daniel Dahlmeier;H. Ng
通讯作者：
Chang Liu;Daniel Dahlmeier;H. Ng