A study of terminology auditors' performance for UMLS semantic type assignments.
A study of terminology auditors' performance for UMLS semantic type assignments.
复制标题
DOI：
10.1016/j.jbi.2012.05.006
复制
发表时间：
2012-12
影响因子：
4.5
通讯作者：
Morrey, C. Paul
中科院分区：
文献类型：
--
作者：
Gu, Huanying (Helen);Elhanan, Gai;Perl, Yehoshua;Hripcsak, George;Cimino, James J.;Xu, Julia;Chen, Yan;Geller, James;Morrey, C. Paul
关键词：
审核医疗术语中的错误需要人类专家。在这篇文章中，我们提出了一项关于审计师在复杂的UMLS概念的语义类型分配中寻找错误的表现的研究。在这项研究中，当概念被分配到语义类型的组合时，它们被认为是复杂的。过去的研究表明，复杂的概念出错的可能性更高。这项研究的结果表明，在审计这些概念时，个体审计师是不可靠的，从不同的衡量标准来看，他们的绩效很低。这些结果证实了早期先导研究的结果。他们暗示，为了达到可接受的可靠性和性能水平，在审计UMLS的这些概念时，需要为几名审计员分配相同的任务。然后需要一种机制，将不同审计师可能存在的不同意见结合起来，形成最终决定。在目前的研究中，与我们以前的工作不同，我们使用了多数机制来实现这一目的。对于232个复杂的UMLS概念样本，大多数意见被认为是可靠的，其在准确性、召回率、精确度和F测量方面的表现在统计学上显著高于个体审计师的平均表现。
Auditing healthcare terminologies for errors requires human experts. In this paper, we present a study of the performance of auditors looking for errors in the semantic type assignments of complex UMLS concepts. In this study, concepts are considered complex whenever they are assigned combinations of semantic types. Past research has shown that complex concepts have a higher likelihood of errors. The results of this study indicate that individual auditors are not reliable when auditing such concepts and their performance is low, according to various metrics. These results confirm the outcomes of an earlier pilot study. They imply that to achieve an acceptable level of reliability and performance, when auditing such concepts of the UMLS, several auditors need to be assigned the same task. A mechanism is then needed to combine the possibly differing opinions of the different auditors into a final determination. In the current study, in contrast to our previous work, we used a majority mechanism for this purpose. For a sample of 232 complex UMLS concepts, the majority opinion was found reliable and its performance for accuracy, recall, precision and the F-measure was found statistically significantly higher than the average performance of individual auditors.
登录
查看更多内容
影响因子：
4.5
作者：
Wang, Yue;Halper, Michael;Wei, Duo;Gu, Huanying;Perl, Yehoshua;Xu, Junchuan;Elhanan, Gai;Chen, Yan;Spackman, Kent A.;Case, James T.;Hripcsak, George
通讯作者：
Hripcsak, George
DOI：
10.1197/jamia.m2202
发表时间：
2007-03-01
影响因子：
6.4
作者：
Chen, Yan;Perl, Yehoshua;Cimino, James J.
通讯作者：
Cimino, James J.
影响因子：
4.5
作者：
Cimino, JJ;Min, H;Perl, Y
通讯作者：
Perl, Y
生物医学领域的高级本体论。
影响因子：
--
作者：
McCray, AT
通讯作者：
McCray, AT
影响因子：
2.5
作者：
Geller, J;Gu, HY;Halper, M
通讯作者：
Halper, M