Federated Learning on Clinical Benchmark Data: Performance Assessment.
Federated Learning on Clinical Benchmark Data: Performance Assessment.
复制标题
DOI：
10.2196/20891
复制
发表时间：
2020-10-26
影响因子：
7.4
通讯作者：
Shin SY
中科院分区：
文献类型：
--
作者：
Lee GH;Shin SY
联邦学习（FL）是一种新提出的使用分散数据集的机器学习方法。由于FL学习过程不需要数据传输，因此在保护个人隐私方面具有显着优势。因此，许多关于 FL 在不同领域的应用的研究正在积极进行。本研究的目的是使用三个基准数据集（包括临床基准数据集）评估 FL 的可靠性和性能。为了在现实环境中评估 FL，我们使用客户端-服务器架构和 Python 来实现 FL。已实施的 FL 软件客户端-服务器版本已部署到 Amazon Web Services。修改后的国家标准与技术研究所 (MNIST)、重症监护医疗信息集市 III (MIMIC-III) 和心电图 (ECG) 数据集用于评估 FL 的性能。为了在现实环境中测试 FL，MNIST 数据集被分为 10 个不同的客户端，每个客户端对应一位数字。此外，我们根据基本、不平衡、倾斜以及不平衡和倾斜数据分布的组合进行了四种不同的实验。我们还使用 MIMIC-III 数据集将 FL 的性能与最先进的方法在院内死亡率方面的性能进行了比较。同样，我们使用 MIMIC-III 和 ECG 数据进行了比较基本数据分布和不平衡数据分布的实验。 FL 在具有 10 个客户端的基本 MNIST 数据集上实现了 0.997 的接收者操作特征曲线下面积 (AUROC) 和 0.946 的 F1 分数。使用不平衡 MNIST 数据集进行的实验获得了 0.995 的 AUROC 和 0.921 的 F1 分数。使用倾斜的 MNIST 数据集进行的实验获得了 0.992 的 AUROC 和 0.905 的 F1 分数。最后，不平衡和倾斜的组合实验获得了 0.990 的 AUROC 和 0.891 的 F1 分数。使用 MIMIC-III 数据的院内死亡率的基本 FL 达到了 0.850 的 AUROC 和 0.944 的 F1 分数，而使用不平衡 MIMIC-III 数据集的实验实现了 0.850 的 AUROC 和 0.943 的 F1 分数。对于心电图分类，基本 FL 的 AUROC 为 0.938，F1 分数为 0.807，不平衡心电图数据集的 AUROC 为 0.943，F1 分数为 0.807。 FL 在不同基准数据集上展示了比较性能。此外，FL在分布不平衡、倾斜和极端的情况下表现出可靠的性能，反映了各个医院数据分布不同的现实场景。 FL 可以在保持隐私保护的同时实现高性能，因为不需要集中数据。
Federated learning (FL) is a newly proposed machine-learning method that uses a decentralized dataset. Since data transfer is not necessary for the learning process in FL, there is a significant advantage in protecting personal privacy. Therefore, many studies are being actively conducted in the applications of FL for diverse areas. The aim of this study was to evaluate the reliability and performance of FL using three benchmark datasets, including a clinical benchmark dataset. To evaluate FL in a realistic setting, we implemented FL using a client-server architecture with Python. The implemented client-server version of the FL software was deployed to Amazon Web Services. Modified National Institute of Standards and Technology (MNIST), Medical Information Mart for Intensive Care-III (MIMIC-III), and electrocardiogram (ECG) datasets were used to evaluate the performance of FL. To test FL in a realistic setting, the MNIST dataset was split into 10 different clients, with one digit for each client. In addition, we conducted four different experiments according to basic, imbalanced, skewed, and a combination of imbalanced and skewed data distributions. We also compared the performance of FL to that of the state-of-the-art method with respect to in-hospital mortality using the MIMIC-III dataset. Likewise, we conducted experiments comparing basic and imbalanced data distributions using MIMIC-III and ECG data. FL on the basic MNIST dataset with 10 clients achieved an area under the receiver operating characteristic curve (AUROC) of 0.997 and an F1-score of 0.946. The experiment with the imbalanced MNIST dataset achieved an AUROC of 0.995 and an F1-score of 0.921. The experiment with the skewed MNIST dataset achieved an AUROC of 0.992 and an F1-score of 0.905. Finally, the combined imbalanced and skewed experiment achieved an AUROC of 0.990 and an F1-score of 0.891. The basic FL on in-hospital mortality using MIMIC-III data achieved an AUROC of 0.850 and an F1-score of 0.944, while the experiment with the imbalanced MIMIC-III dataset achieved an AUROC of 0.850 and an F1-score of 0.943. For ECG classification, the basic FL achieved an AUROC of 0.938 and an F1-score of 0.807, and the imbalanced ECG dataset achieved an AUROC of 0.943 and an F1-score of 0.807. FL demonstrated comparative performance on different benchmark datasets. In addition, FL demonstrated reliable performance in cases where the distribution was imbalanced, skewed, and extreme, reflecting the real-life scenario in which data distributions from various hospitals are different. FL can achieve high performance while maintaining privacy protection because there is no requirement to centralize the data.
登录
查看更多内容
DOI：
10.1007/3-540-45014-9_1
发表时间：
2000-01-01
期刊：
MULTIPLE CLASSIFIER SYSTEMS
影响因子：
--
作者：
Dietterich, TG
通讯作者：
Dietterich, TG
影响因子：
82.9
作者：
Hannun, Awni Y.;Rajpurkar, Pranav;Ng, Andrew Y.
通讯作者：
Ng, Andrew Y.
影响因子：
4.9
作者：
Brisimi TS;Chen R;Mela T;Olshevsky A;Paschalidis IC;Shi W
通讯作者：
Shi W
影响因子：
14.9
作者：
Li, Tian;Sahu, Anit Kumar;Smith, Virginia
通讯作者：
Smith, Virginia
DOI：
10.1197/jamia.m3144
发表时间：
2009-09-01
影响因子：
6.4
作者：
El Emam, Khaled;Dankar, Fida Kamal;Bottomley, Jim
通讯作者：
Bottomley, Jim