Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning.
Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning.
复制标题
DOI：
10.1109/cvpr52688.2022.00982
复制
发表时间：
2022-06
期刊：
影响因子：
--
通讯作者：
Rubin, Daniel
中科院分区：
文献类型：
--
作者：
Qu, Liangqiong;Zhou, Yuyin;Liang, Paul Pu;Xia, Yingda;Wang, Feifei;Adeli, Ehsan;Li Fei-Fei;Rubin, Daniel
联合学习是一种新兴的研究范式，可以在不同组织之间协作训练机器学习模型，同时保持每个机构的数据私密性。尽管最近取得了进展，但仍然存在根本性的挑战，例如缺乏融合以及在现实世界的异构设备中发生灾难性遗忘的可能性。在本文中，我们证明了基于自我注意力的架构（例如，Transformers）对分布变化更鲁棒，因此改善了异构数据上的联邦学习。具体地说，我们在一系列联邦算法、真实世界的基准测试和异构数据分割中对不同的神经架构进行了第一次严格的实证研究。我们的实验表明，简单地用Transformers替换卷积网络可以大大减少对以前设备的灾难性遗忘，加速收敛，并达到更好的全局模型，特别是在处理异构数据时。我们发布了我们的代码和预训练模型，以鼓励未来在健壮的架构中进行探索，作为当前优化前沿研究工作的替代方案。
Federated learning is an emerging research paradigm enabling collaborative training of machine learning models among different organizations while keeping data private at each institution. Despite recent progress, there remain fundamental challenges such as the lack of convergence and the potential for catastrophic forgetting across real-world heterogeneous devices. In this paper, we demonstrate that self-attention-based architectures (e.g., Transformers) are more robust to distribution shifts and hence improve federated learning over heterogeneous data. Concretely, we conduct the first rigorous empirical investigation of different neural architectures across a range of federated algorithms, real-world benchmarks, and heterogeneous data splits. Our experiments show that simply replacing convolutional networks with Transformers can greatly reduce catastrophic forgetting of previous devices, accelerate convergence, and reach a better global model, especially when dealing with heterogeneous data. We release our code and pretrained models to encourage future exploration in robust architectures as an alternative to current research efforts on the optimization front.
登录
查看更多内容
DOI：
10.3390/s20216230
发表时间：
2020-10-31
期刊：
Sensors (Basel, Switzerland)
影响因子：
--
作者：
Jiang JC;Kantarci B;Oktug S;Soyata T
通讯作者：
Soyata T
中国原代肢端黑色素瘤培养细胞及动物模型的建立
影响因子：
4.3
作者：
Hu, Rui;Zhao, Shuang;Su, Juan;Chen, Xiang;Yin, Mingzhu
通讯作者：
Yin, Mingzhu
DOI：
10.1186/s13634-019-0602-z
发表时间：
2019-01-28
影响因子：
1.9
作者：
Chen, Xin;Wang, Ding;Wu, Ying
通讯作者：
Wu, Ying
影响因子：
4.9
作者：
Brisimi TS;Chen R;Mela T;Olshevsky A;Paschalidis IC;Shi W
通讯作者：
Shi W
影响因子：
1.7
作者：
Guo, Ruichao;Jiang, Xiaomeng;Wang, Hongren
通讯作者：
Wang, Hongren