A Metrological Perspective on Reproducibility in NLP*
A Metrological Perspective on Reproducibility in NLP*
复制标题
NLP 再现性的计量学视角*
DOI：
10.1162/coli_a_00448
复制
发表时间：
2022
影响因子：
9.3
通讯作者：
Belz A
中科院分区：
文献类型：
--
作者：
Belz A
近年来，可重复性已成为NLP和ML中越来越有争议的话题，但到目前为止，即使是基本术语或概念也没有普遍接受的定义。NLP/ML中提出的不同定义的范围不仅彼此不一致，而且与标准的科学定义也不一致。本文考察了计量学元科学提供的可重复性和可重复性的标准定义，并探讨了它们在如何评估可重复性方面的含义，以及采用它们对NLP/ML中的可重复性评估意味着什么。事实证明，标准定义直接导致了一种量化评估再现性的方法，这种方法使得再现研究的结果在同一原始研究的多次再现中具有可比性，以及不同原始研究的再现。本文考虑了这种方法与NLP工作的其他方面的关系，人们可能希望在可重复性的背景下进行评估。
Reproducibility has become an increasingly debated topic in NLP and ML over recent years, but so far, no commonly accepted definitions of even basic terms or concepts have emerged. The range of different definitions proposed within NLP/ML not only do not agree with each other, they are also not aligned with standard scientific definitions. This article examines the standard definitions of repeatability and reproducibility provided by the meta-science of metrology, and explores what they imply in terms of how to assess reproducibility, and what adopting them would mean for reproducibility assessment in NLP/ML. It turns out the standard definitions lead directly to a method for assessing reproducibility in quantified terms that renders results from reproduction studies comparable across multiple reproductions of the same original study, as well as reproductions of different original studies. The article considers where this method sits in relation to other aspects of NLP work one might wish to assess in the context of reproducibility.
登录
查看更多内容
促进可重复性的新型协作类型的共同任务：REPROLANG2020 在语言科学与技术领域的首次练习
DOI：
--
发表时间：
2020
期刊：
International Conference on Language Resources and Evaluation
影响因子：
--
作者：
A. Branco;N. Calzolari;P. Vossen;Gertjan van Noord;D. V. Uytvanck;J. Silva;Luís Manuel dos Santos Gomes;André Moreira;W. Elbers
通讯作者：
W. Elbers
哑炮：计算语言学的可重复性：我们愿意分享吗？
DOI：
--
发表时间：
2018
期刊：
International Conference on Computational Logic
影响因子：
--
作者：
Martijn Wieling;J. Rawee;Gertjan van Noord
通讯作者：
Gertjan van Noord
ReproGen 关于 NLG 中人类评估可重复性的共享任务：概述和结果
DOI：
10.18653/v1/2021.inlg-1.24
发表时间：
2021
期刊：
ArXiv
影响因子：
--
作者：
Anya Belz;Anastasia Shimorina;Shubham Agarwal;Ehud Reiter
通讯作者：
Ehud Reiter
DOI：
--
发表时间：
2020
期刊：
International Conference on Language Resources and Evaluation
影响因子：
--
作者：
Eva;Çagri Çöltekin
通讯作者：
Çagri Çöltekin
DOI：
10.7717/peerj-cs.142
发表时间：
2017
期刊：
PeerJ. Computer science
影响因子：
--
作者：
Rougier NP;Hinsen K;Alexandre F;Arildsen T;Barba LA;Benureau FCY;Brown CT;de Buyl P;Caglayan O;Davison AP;Delsuc MA;Detorakis G;Diem AK;Drix D;Enel P;Girard B;Guest O;Hall MG;Henriques RN;Hinaut X;Jaron KS;Khamassi M;Klein A;Manninen T;Marchesi P;McGlinn D;Metzner C;Petchey O;Plesser HE;Poisot T;Ram K;Ram Y;Roesch E;Rossant C;Rostami V;Shifman A;Stachelek J;Stimberg M;Stollmeier F;Vaggi F;Viejo G;Vitay J;Vostinar AE;Yurchak R;Zito T
通讯作者：
Zito T