Identifying Annotator Bias: A new IRT-based method for bias identification
Identifying Annotator Bias: A new IRT-based method for bias identification
复制标题
识别注释器偏差：一种基于 IRT 的新偏差识别方法
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
A. Willis
中科院分区：
文献类型：
--
作者：
Jacopo Amidei;P. Piwek;A. Willis
任何注解工作的一个基本步骤是衡量《国际注释员协定》(IAA)。影响IAA的一个重要因素是注释者偏见的存在。本文介绍了项目反应理论(IRT)的一种新的解释和应用，以检测注释者的偏向。我们对IRT的解释提供了一种原始的偏见识别方法，可以用来比较注释者的偏见和刻画注解分歧。我们的方法可以用来发现离群点注释器，改进注解指南，并提供更好的注解可靠性的图像。此外，由于IAA解释的标准并不是普遍同意的，我们的偏差识别方法作为IAA值的补充是有价值的，它可以帮助理解注释分歧。
A basic step in any annotation effort is the measurement of the Inter Annotator Agreement (IAA). An important factor that can affect the IAA is the presence of annotator bias. In this paper we introduce a new interpretation and application of the Item Response Theory (IRT) to detect annotators’ bias. Our interpretation of IRT offers an original bias identification method that can be used to compare annotators’ bias and characterise annotation disagreement. Our method can be used to spot outlier annotators, improve annotation guidelines and provide a better picture of the annotation reliability. Additionally, because scales for IAA interpretation are not generally agreed upon, our bias identification method is valuable as a complement to the IAA value which can help with understanding the annotation disagreement.
第一个问题生成共享任务评估挑战赛详解
影响因子：
--
作者：
Rus V
通讯作者：
Rus V