The ReproGen Shared Task on Reproducibility of Human Evaluations in NLG: Overview and Results
The ReproGen Shared Task on Reproducibility of Human Evaluations in NLG: Overview and Results
复制标题
ReproGen 关于 NLG 中人类评估可重复性的共享任务：概述和结果
DOI：
10.18653/v1/2021.inlg-1.24
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Ehud Reiter
中科院分区：
文献类型：
--
作者：
Anya Belz;Anastasia Shimorina;Shubham Agarwal;Ehud Reiter
NLP领域最近看到了与结果的可重复性相关的工作的大幅增加，并且更普遍地认识到共享与评估相关的定义和实践的重要性。到目前为止，大部分关于可重复性的工作都集中在度量分数上，而对人类评估结果的可重复性的关注要少得多。作为旨在发展NLP再现性评估理论和实践的研究计划的一部分，我们组织了第一个关于人类评估再现性的共享任务，ReproGen 2021。本文详细介绍了共同的任务，总结了每个生殖研究提交的结果，并提供了进一步的比较分析的结果。在九个初始团队注册中，我们收到了四个团队的提交。四项生殖研究的荟萃分析显示了不同程度的可重复性，并允许关于哪种类型的评估往往具有更好的可重复性的初步结论。
The NLP field has recently seen a substantial increase in work related to reproducibility of results, and more generally in recognition of the importance of having shared definitions and practices relating to evaluation. Much of the work on reproducibility has so far focused on metric scores, with reproducibility of human evaluation results receiving far less attention. As part of a research programme designed to develop theory and practice of reproducibility assessment in NLP, we organised the first shared task on reproducibility of human evaluations, ReproGen 2021. This paper describes the shared task in detail, summarises results from each of the reproduction studies submitted, and provides further comparative analysis of the results. Out of nine initial team registrations, we received submissions from four teams. Meta-analysis of the four reproduction studies revealed varying degrees of reproducibility, and allowed very tentative first conclusions about what types of evaluation tend to have better reproducibility.
NLP 中语言评估的离散与连续评分量表
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
Anja Susanne Belz (Author)
通讯作者：
Anja Susanne Belz (Author)
DOI：
10.18653/v1/2020.inlg-1.23
发表时间：
2020
期刊：
--
影响因子：
--
作者：
David M. Howcroft;Anya Belz;Miruna Clinciu;Dimitra Gkatzia;Sadid A. Hasan;Saad Mahamood;Simon Mille;Emiel van Miltenburg;Sashank Santhanam;Verena Rieser
通讯作者：
David M. Howcroft;Anya Belz;Miruna Clinciu;Dimitra Gkatzia;Sadid A. Hasan;Saad Mahamood;Simon Mille;Emiel van Miltenburg;Sashank Santhanam;Verena Rieser