On evaluation metrics for medical applications of artificial intelligence.
On evaluation metrics for medical applications of artificial intelligence.
复制标题
DOI：
10.1038/s41598-022-09954-8
复制
发表时间：
2022-04-08
影响因子：
4.6
通讯作者：
Parasa S
中科院分区：
文献类型：
--
作者：
Hicks SA;Strümke I;Thambawita V;Hammou M;Riegler MA;Halvorsen P;Parasa S
临床医生和软件开发人员需要了解拟议的机器学习（ML）模型如何改善患者护理。没有一个单一的指标可以捕捉到模型的所有期望属性，这就是为什么通常会报告几个指标来总结模型的性能。不幸的是，许多临床医生并不容易理解这些措施。此外，以客观的方式比较研究中的模型是具有挑战性的，并且没有工具可以使用相同的性能指标来比较模型。本文回顾了以前在胃肠病学中进行的ML研究，解释了在所介绍的研究中，在二元分类的背景下，不同的指标意味着什么，并彻底解释了应该如何解释不同的指标。我们还发布了一个基于网络的开源工具，可用于帮助计算本文中提出的最相关的指标，以便其他研究人员和临床医生可以轻松地将其纳入他们的研究。
Clinicians and software developers need to understand how proposed machine learning (ML) models could improve patient care. No single metric captures all the desirable properties of a model, which is why several metrics are typically reported to summarize a model’s performance. Unfortunately, these measures are not easily understandable by many clinicians. Moreover, comparison of models across studies in an objective manner is challenging, and no tool exists to compare models using the same performance metrics. This paper looks at previous ML studies done in gastroenterology, provides an explanation of what different metrics mean in the context of binary classification in the presented studies, and gives a thorough explanation of how different metrics should be interpreted. We also release an open source web-based tool that may be used to aid in calculating the most relevant metrics presented in this paper so that other researchers and clinicians may easily incorporate them into their research.
登录
查看更多内容
DOI：
10.1016/j.tgie.2019.150634
发表时间：
2020-04-01
影响因子：
2.4
作者：
Hoogenboom, Sanne A.;Bagci, Ulas;Wallace, Michael B.
通讯作者：
Wallace, Michael B.
DOI：
10.1016/0005-2795(75)90109-9
发表时间：
1975-01-01
期刊：
BIOCHIMICA ET BIOPHYSICA ACTA
影响因子：
--
作者：
MATTHEWS, BW
通讯作者：
MATTHEWS, BW
影响因子：
24.5
作者：
Byrne MF;Chapados N;Soudan F;Oertel C;Linares Pérez M;Kelly R;Iqbal N;Chandelier F;Rex DK
通讯作者：
Rex DK
影响因子：
4.6
作者：
Mossotto E;Ashton JJ;Coelho T;Beattie RM;MacArthur BD;Ennis S
通讯作者：
Ennis S
影响因子：
3.7
作者：
Patel, Krushi;Li, Kaidong;Wang, Guanghui
通讯作者：
Wang, Guanghui