STD: An Automatic Evaluation Metric for Machine Translation Based on Word Embeddings
STD: An Automatic Evaluation Metric for Machine Translation Based on Word Embeddings
复制标题
STD：基于词嵌入的机器翻译自动评估指标
DOI：
10.1109/taslp.2019.2922845
复制
发表时间：
2019-10
期刊：
影响因子：
--
通讯作者：
Zheng Zibin
中科院分区：
文献类型：
--
作者：
Li Pairui;Chen Chuan;Zheng Wujie;Deng Yuetang;Ye Fanghua;Zheng Zibin
BLEU、NIST和WER等基于词汇的度量标准已被广泛应用于机器翻译（MT）评估中。然而，这些指标严重表示语义关系，并施加严格的身份匹配，导致适度的相关性与人类的判断。本文提出了一种基于词嵌入的机器翻译自动评价指标--语义行程距离。STD将语义和词汇特征（词嵌入和n元语法和词序）合并到一个度量中。它通过计算假设的嵌入n-gram到达参考的嵌入n-gram所需的最小累积成本来测量假设和参考之间的语义距离。实验结果表明，STD具有更好的和更强大的性能比一系列的国家的最先进的度量的段级和系统级的评估。
Lexical-based metrics such as BLEU, NIST, and WER have been widely used in machine translation (MT) evaluation. However, these metrics badly represent semantic relationships and impose strict identity matching, leading to moderate correlation with human judgments. In this paper, we propose a novel MT automatic evaluation metric Semantic Travel Distance (STD) based on word embeddings. STD incorporates both semantic and lexical features (word embeddings and n-gram and word order) into one metric. It measures the semantic distance between the hypothesis and reference by calculating the minimum cumulative cost that the embedded n-grams of the hypothesis need to “travel” to reach the embedded n-grams of the reference. Experiment results show that STD has a better and more robust performance than a range of state-of-the-art metrics for both the segment-level and system-level evaluation.
登录
查看更多内容
DOI：
10.21437/eurospeech.1997-673
发表时间：
1997-09
期刊：
--
影响因子：
--
作者：
Christoph Tillmann;S. Vogel;H. Ney;A. Zubiaga;H. Sawaf
通讯作者：
Christoph Tillmann;S. Vogel;H. Ney;A. Zubiaga;H. Sawaf
DOI：
10.3115/v1/p14-2124
发表时间：
2014-06
期刊：
--
影响因子：
--
作者：
Chi-kiu (羅致翹) Lo;Meriem Beloucif;Markus Saers;Dekai Wu
通讯作者：
Chi-kiu (羅致翹) Lo;Meriem Beloucif;Markus Saers;Dekai Wu
DOI：
10.3115/1626355.1626362
发表时间：
2007-06
期刊：
--
影响因子：
--
作者：
Maja Popovic;H. Ney
通讯作者：
Maja Popovic;H. Ney
影响因子：
1.9
作者：
B. Wong;Chunyu Kit
通讯作者：
B. Wong;Chunyu Kit
DOI：
10.3115/1626431.1626480
发表时间：
2009-03
期刊：
--
影响因子：
--
作者：
M. Snover;Nitin Madnani;B. Dorr;R. Schwartz
通讯作者：
M. Snover;Nitin Madnani;B. Dorr;R. Schwartz