Peeking into a black box, the fairness and generalizability of a MIMIC-III benchmarking model.
Peeking into a black box, the fairness and generalizability of a MIMIC-III benchmarking model.
复制标题
DOI：
10.1038/s41597-021-01110-7
复制
发表时间：
2022-01-24
期刊：
影响因子：
9.8
通讯作者：
Hernandez-Boussard T
中科院分区：
文献类型：
--
作者：
Röösli E;Bozkurt S;Hernandez-Boussard T
随着人工智能（AI）利用越来越多的数字健康数据，在提高某些患者的护理质量方面不断取得进展，另一些患者却落在了后面。需要进行实证评估研究，以防止有偏见的人工智能模型通过危险的反馈循环加剧少数群体面临的系统性健康差距。本研究的目的是提高人们对风险预测模型中普遍存在的偏见和公平性挑战的广泛认识。我们使用广泛适用的公平性和概括性评估框架对mimic训练的基准模型进行了案例研究。虽然开放科学基准对于克服当今许多研究局限性至关重要，但本案例研究揭示了强烈的阶级不平衡问题以及黑人和公共保险ICU患者的公平性问题。因此，我们提倡广泛使用综合公平性和绩效评估框架，以有效地监控和验证建立在开放数据资源上的基准管道。
As artificial intelligence (AI) makes continuous progress to improve quality of care for some patients by leveraging ever increasing amounts of digital health data, others are left behind. Empirical evaluation studies are required to keep biased AI models from reinforcing systemic health disparities faced by minority populations through dangerous feedback loops. The aim of this study is to raise broad awareness of the pervasive challenges around bias and fairness in risk prediction models. We performed a case study on a MIMIC-trained benchmarking model using a broadly applicable fairness and generalizability assessment framework. While open-science benchmarks are crucial to overcome many study limitations today, this case study revealed a strong class imbalance problem as well as fairness concerns for Black and publicly insured ICU patients. Therefore, we advocate for the widespread use of comprehensive fairness and performance assessment frameworks to effectively monitor and validate benchmark pipelines built on open data resources.
登录
查看更多内容
影响因子：
9.8
作者：
Johnson AE;Pollard TJ;Shen L;Lehman LW;Feng M;Ghassemi M;Moody B;Szolovits P;Celi LA;Mark RG
通讯作者：
Mark RG
影响因子：
5
作者：
Chawla, NV;Bowyer, KW;Kegelmeyer, WP
通讯作者：
Kegelmeyer, WP
DOI：
10.1093/jamia/ocaa088
发表时间：
2020-12-09
期刊：
Journal of the American Medical Informatics Association : JAMIA
影响因子：
--
作者：
Hernandez-Boussard T;Bozkurt S;Ioannidis JPA;Shah NH
通讯作者：
Shah NH
影响因子：
2.6
作者：
Hasan, Omar;Orav, E. John;Hicks, LeRoi S.
通讯作者：
Hicks, LeRoi S.
影响因子：
39
作者：
Gianfrancesco MA;Tamang S;Yazdany J;Schmajuk G
通讯作者：
Schmajuk G