Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers.
Federated Gradient Averaging for Multi-Site Training with Momentum-Based Optimizers.
复制标题
DOI：
10.1007/978-3-030-60548-3_17
复制
发表时间：
2020-10
期刊：
影响因子：
--
通讯作者：
Pham DL
中科院分区：
文献类型：
--
作者：
Remedios SW;Butman JA;Landman BA;Pham DL
人工神经网络的多站点训练方法对医疗机器学习社区特别感兴趣，主要是由于机构之间的数据共享困难。然而，当代的多站点技术，如权重平均和循环权重转移，使理论上的牺牲，以简化实现。在本文中，我们实现了联邦梯度平均（FGA），这是一种没有数据传输的联邦学习的变体，在数学上相当于使用集中式数据进行单点训练。我们评估两种情况：一个模拟的多站点数据集的手写数字分类与MNIST和真实的多站点数据集与头部CT出血分割。我们将联邦梯度平均与单点训练、联邦权重平均（FWA）和循环权重转移进行了比较。在MNIST任务中，我们证明了使用FGA进行训练会产生一个相当于集中式单站点训练的权重集。在出血分割任务中，我们表明，FGA实现了平均上级的结果FWA和循环权重转移，由于其能够利用基于动量的优化。
Multi-site training methods for artificial neural networks are of particular interest to the medical machine learning community primarily due to the difficulty of data sharing between institutions. However, contemporary multi-site techniques such as weight averaging and cyclic weight transfer make theoretical sacrifices to simplify implementation. In this paper, we implement federated gradient averaging (FGA), a variant of federated learning without data transfer that is mathematically equivalent to single site training with centralized data. We evaluate two scenarios: a simulated multi-site dataset for handwritten digit classification with MNIST and a real multi-site dataset with head CT hemorrhage segmentation. We compare federated gradient averaging to single site training, federated weight averaging (FWA), and cyclic weight transfer. In the MNIST task, we show that training with FGA results in a weight set equivalent to centralized single site training. In the hemorrhage segmentation task, we show that FGA achieves on average superior results to both FWA and cyclic weight transfer due to its ability to leverage momentum-based optimization.
登录
查看更多内容
影响因子：
4.7
作者：
Luxton, David D.;Kayl, Robert A.;Mishkind, Matthew C.
通讯作者：
Mishkind, Matthew C.
影响因子：
3.8
作者：
Remedios, Samuel W.;Roy, Snehashis;Pham, Dzung L.
通讯作者：
Pham, Dzung L.
DOI：
10.1093/jamia/ocy017
发表时间：
2018-08-01
期刊：
Journal of the American Medical Informatics Association : JAMIA
影响因子：
--
作者：
Chang K;Balachandar N;Lam C;Yi D;Brown J;Beers A;Rosen B;Rubin DL;Kalpathy-Cramer J
通讯作者：
Kalpathy-Cramer J
影响因子：
7.4
作者：
Thompson LA;Black E;Duff WP;Paradise Black N;Saliba H;Dawson K
通讯作者：
Dawson K
影响因子：
4.6
作者：
Sheller, Micah J.;Edwards, Brandon;Bakas, Spyridon
通讯作者：
Bakas, Spyridon