The Accuracy Evaluation Shared Task as a Retrospective Reproduction Study
The Accuracy Evaluation Shared Task as a Retrospective Reproduction Study
复制标题
作为回顾性再现研究的准确性评估共享任务
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Ehud Reiter
中科院分区：
文献类型：
--
作者：
Craig Thomson;Ehud Reiter
我们调查了为准确性评估共享任务收集的数据，作为一项回溯性复制研究。共享任务是基于人工对计算机生成的篮球比赛摘要进行注释时发现的错误。注释分三个不同的阶段进行，文本取自相同的三个系统，并由相同的三个注释员检查错误。我们表明，在每个实验的最高水平上，错误的平均计数是一致的，当查看每个系统和/或每个错误类型的细分时，方差增加。
We investigate the data collected for the Accuracy Evaluation Shared Task as a retrospective reproduction study. The shared task was based upon errors found by human annotation of computer generated summaries of basketball games. Annotation was performed in three separate stages, with texts taken from the same three systems and checked for errors by the same three annotators. We show that the mean count of errors was consistent at the highest level for each experiment, with increased variance when looking at per-system and/or per-error-type breakdowns.
DOI：
10.18653/v1/2021.inlg-1.14
发表时间：
2021-08
期刊：
ArXiv
影响因子：
--
作者：
Emiel van Miltenburg;Miruna Clinciu;Ondrej Dusek;Dimitra Gkatzia;Stephanie Inglis;Leo Leppanen;Saad Mahamood;Emma Manning;S. Schoch;Craig Thomson;Luou Wen
通讯作者：
Emiel van Miltenburg;Miruna Clinciu;Ondrej Dusek;Dimitra Gkatzia;Stephanie Inglis;Leo Leppanen;Saad Mahamood;Emma Manning;S. Schoch;Craig Thomson;Luou Wen