The Eval4NLP Shared Task on Explainable Quality Estimation: Overview and Results
The Eval4NLP Shared Task on Explainable Quality Estimation: Overview and Results
复制标题
Eval4NLP 可解释质量估计共享任务：概述和结果
DOI：
10.18653/v1/2021.eval4nlp-1.17
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Yang Gao
中科院分区：
文献类型：
--
作者：
M. Fomicheva;Piyawat Lertvittayakumjorn;Wei Zhao;Steffen Eger;Yang Gao
在本文中，我们介绍了关于可解释质量估计的eval4nlp -2021共享任务。给定一个源翻译对，这个共享任务不仅需要提供一个表明翻译整体质量的句子级分数，还需要通过识别对翻译质量产生负面影响的单词来解释这个分数。我们给出了共享任务的数据、标注指南和评估设置，描述了六个参与系统，并分析了结果。据我们所知，这是第一个关于可解释的NLP评估指标的共享任务。数据集和结果可在https://github.com/eval4nlp/SharedTask2021上获得。
In this paper, we introduce the Eval4NLP-2021shared task on explainable quality estimation. Given a source-translation pair, this shared task requires not only to provide a sentence-level score indicating the overall quality of the translation, but also to explain this score by identifying the words that negatively impact translation quality. We present the data, annotation guidelines and evaluation setup of the shared task, describe the six participating systems, and analyze the results. To the best of our knowledge, this is the first shared task on explainable NLP evaluation metrics. Datasets and results are available at https://github.com/eval4nlp/SharedTask2021.
登录
查看更多内容
DOI：
10.18653/v1/2020.acl-main.409
发表时间：
2020-04
期刊：
--
影响因子：
--
作者：
Sarthak Jain;Sarah Wiegreffe;Yuval Pinter;Byron C. Wallace
通讯作者：
Sarthak Jain;Sarah Wiegreffe;Yuval Pinter;Byron C. Wallace
通过学习排序在无监督的情况下检测细粒度的跨语言语义差异
DOI：
10.18653/v1/2020.emnlp-main.121
发表时间：
2020
期刊：
Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP
影响因子：
--
作者：
Briakou, Eleftheria;Carpuat, Marine
通讯作者：
Carpuat, Marine
DOI：
10.18653/v1/2020.acl-main.151
发表时间：
2020-05
期刊：
--
影响因子：
--
作者：
Wei Zhao;Goran Glavavs;Maxime Peyrard;Yang Gao-;Robert West;Steffen Eger
通讯作者：
Wei Zhao;Goran Glavavs;Maxime Peyrard;Yang Gao-;Robert West;Steffen Eger
DOI：
10.18653/v1/2020.acl-main.408
发表时间：
2019-11
期刊：
--
影响因子：
--
作者：
Jay DeYoung;Sarthak Jain;Nazneen Rajani;Eric P. Lehman;Caiming Xiong;R. Socher;Byron C. Wallace
通讯作者：
Jay DeYoung;Sarthak Jain;Nazneen Rajani;Eric P. Lehman;Caiming Xiong;R. Socher;Byron C. Wallace