Sample Size Analysis for Machine Learning Clinical Validation Studies.
Sample Size Analysis for Machine Learning Clinical Validation Studies.
复制标题
DOI：
10.3390/biomedicines11030685
复制
发表时间：
2023-02-23
期刊：
影响因子：
4.7
通讯作者：
中科院分区：
文献类型：
--
作者：
背景：在将新的机器学习（ML）整合到临床实践之前，算法必须经过验证。验证研究需要样本量估计。与寻求p值的假设检验研究不同，验证预测模型的目标是获得模型性能的估计。没有标准工具来确定机器学习模型临床验证研究的样本量估计。方法：我们的开源方法，机器学习样本大小分析（SSAML）进行了描述，并在三个先前发表的模型中进行了测试：脑年龄预测死亡率（Cox比例风险），COVID住院风险预测（有序回归）和癫痫发作风险预测（深度学习）。结果：使用标准化标准在每个数据集中获得最小样本量。讨论：SSAML在期望的置信水平上提供了精度和准确性的正式期望。SSAML是开源的，与数据类型和ML模型无关。可用于ML模型的临床验证研究。
Background: Before integrating new machine learning (ML) into clinical practice, algorithms must undergo validation. Validation studies require sample size estimates. Unlike hypothesis testing studies seeking a p-value, the goal of validating predictive models is obtaining estimates of model performance. There is no standard tool for determining sample size estimates for clinical validation studies for machine learning models. Methods: Our open-source method, Sample Size Analysis for Machine Learning (SSAML) was described and was tested in three previously published models: brain age to predict mortality (Cox Proportional Hazard), COVID hospitalization risk prediction (ordinal regression), and seizure risk forecasting (deep learning). Results: Minimum sample sizes were obtained in each dataset using standardized criteria. Discussion: SSAML provides a formal expectation of precision and accuracy at a desired confidence level. SSAML is open-source and agnostic to data type and ML model. It can be used for clinical validation studies of ML models.
登录
查看更多内容
影响因子：
2
作者：
Riley, Richard D.;Collins, Gary S.;Snell, Kym I. E.
通讯作者：
Snell, Kym I. E.
影响因子：
4.2
作者：
Sun, Haoqi;Paixao, Luis;Westover, M. Brandon
通讯作者：
Westover, M. Brandon
影响因子：
2
作者：
Archer, Lucinda;Snell, Kym I. E.;Riley, Richard D.
通讯作者：
Riley, Richard D.
影响因子：
2
作者：
Riley, Richard D.;Debray, Thomas P. A.;Snell, Kym I. E.
通讯作者：
Snell, Kym I. E.
DOI：
10.1093/infdis/jiaa663
发表时间：
2021-01-04
期刊：
The Journal of infectious diseases
影响因子：
--
作者：
Sun H;Jain A;Leone MJ;Alabsi HS;Brenner LN;Ye E;Ge W;Shao YP;Boutros CL;Wang R;Tesh RA;Magdamo C;Collens SI;Ganglberger W;Bassett IV;Meigs JB;Kalpathy-Cramer J;Li MD;Chu JT;Dougan ML;Stratton LW;Rosand J;Fischl B;Das S;Mukerji SS;Robbins GK;Westover MB
通讯作者：
Westover MB