Comparison of Methods to Annotate Named Entity Corpora
Comparison of Methods to Annotate Named Entity Corpora
复制标题
命名实体语料库标注方法比较
DOI：
10.1145/3218820
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Hiroyuki Shinnou
中科院分区：
文献类型：
--
作者：
Kanako Komiya;Masaya Suzuki;Tomoya Iwakura;Minoru Sasaki;Hiroyuki Shinnou
作者比较了使用非专家注释器为命名实体（NE）识别任务注释语料库的两种方法：（i）修改现有NE识别器的结果和（ii）完全手动注释内斯。基于金标准评价注释时间、一致性程度和性能。因为对于每种方法，一个文本有两个注释器，所以评估了两个性能：两个注释器的平均性能和至少一个注释器正确时的性能。实验表明，半自动标注速度更快，达到更好的一致性，平均表现更好。然而，他们也指出，有时，完全手动注释应用于某些文本，其文档类型与训练数据文档类型有很大不同。此外，使用半自动和全手动标注语料库作为训练数据的机器学习实验表明，当使用手动标注而不是半自动标注时，F-度量对于某些文本可能更好。最后，使用注释语料库作为额外语料库进行训练的实验表明，（i）NE识别性能并不总是对应于NE标签注释的性能，以及（ii）使用手动注释语料库训练的系统优于使用半自动注释语料库训练的系统，即使现有的NE识别器主要使用新闻专线进行训练。
The authors compared two methods for annotating a corpus for the named entity (NE) recognition task using non-expert annotators: (i) revising the results of an existing NE recognizer and (ii) manually annotating the NEs completely. The annotation time, degree of agreement, and performance were evaluated based on the gold standard. Because there were two annotators for one text for each method, two performances were evaluated: the average performance of both annotators and the performance when at least one annotator is correct. The experiments reveal that semi-automatic annotation is faster, achieves better agreement, and performs better on average. However, they also indicate that sometimes, fully manual annotation should be used for some texts whose document types are substantially different from the training data document types. In addition, the machine learning experiments using semi-automatic and fully manually annotated corpora as training data indicate that the F-measures could be better for some texts when manual instead of semi-automatic annotation was used. Finally, experiments using the annotated corpora for training as additional corpora show that (i) the NE recognition performance does not always correspond to the performance of the NE tag annotation and (ii) the system trained with the manually annotated corpus outperforms the system trained with the semi-automatically annotated corpus with respect to newswires, even though the existing NE recognizer was mainly trained with newswires.
登录
查看更多内容
BCCWJ中命名实体识别的错误分析
DOI：
--
发表时间：
2015
期刊：
--
影响因子：
--
作者：
Masaaki Ichihara;Kanako Komiya;Tomoya Iwakura;M. Yamazaki
通讯作者：
M. Yamazaki
使用对话系统设计单词联想游戏以获取单词联想知识
DOI：
10.18653/v1/w16-1316
发表时间：
2016
期刊：
--
影响因子：
--
作者：
Yuichiro Machida;Daisuke Kawahara;S. Kurohashi;Manabu Sassano
通讯作者：
Manabu Sassano
PropBank在法语手册标注中的跨语言有效性
DOI：
--
发表时间：
2010
期刊：
Law
影响因子：
--
作者：
Lonneke van der Plas;T. Samardžić;Paola Merlo
通讯作者：
Paola Merlo
构建多样化的文档导致语料库带有语义关系注释
DOI：
--
发表时间：
2012
期刊：
--
影响因子：
--
作者：
Masatsugu Hangyo;Daisuke Kawahara;S. Kurohashi
通讯作者：
S. Kurohashi
DOI：
--
发表时间：
2008
期刊：
--
影响因子：
--
作者：
Ryohei Sasano;S. Kurohashi
通讯作者：
Ryohei Sasano;S. Kurohashi