Personalized Cross-Silo Federated Learning on Non-IID Data
Personalized Cross-Silo Federated Learning on Non-IID Data
复制标题
DOI：
10.1609/aaai.v35i9.16960
复制
发表时间：
2020-07
期刊：
影响因子：
--
通讯作者：
Yutao Huang;Lingyang Chu;Zirui Zhou;Lanjun Wang;Jiangchuan Liu;J. Pei;Yong Zhang
中科院分区：
文献类型：
--
作者：
Yutao Huang;Lingyang Chu;Zirui Zhou;Lanjun Wang;Jiangchuan Liu;J. Pei;Yong Zhang
非独立同分布数据对联邦学习提出了严峻的挑战。在本文中，我们探索了一种促进具有相似数据的客户之间的成对协作的新想法。我们提出了 FedAMP，这是一种采用联合注意力消息传递来促进相似客户端进行更多协作的新方法。我们建立了凸模型和非凸模型的 FedAMP 收敛性，并提出了一种启发式方法，以在客户采用深度神经网络作为个性化模型时进一步提高 FedAMP 的性能。我们对基准数据集的广泛实验证明了所提出方法的优越性能。
Non-IID data present a tough challenge for federated learning. In this paper, we explore a novel idea of facilitating pairwise collaborations between clients with similar data. We propose FedAMP, a new method employing federated attentive message passing to facilitate similar clients to collaborate more. We establish the convergence of FedAMP for both convex and non-convex models, and propose a heuristic method to further improve the performance of FedAMP when clients adopt deep neural networks as personalized models. Our extensive experiments on benchmark data sets demonstrate the superior performance of the proposed methods.