FedMask: Joint Computation and Communication-Efficient Personalized Federated Learning via Heterogeneous Masking
FedMask: Joint Computation and Communication-Efficient Personalized Federated Learning via Heterogeneous Masking
复制标题
FedMask：通过异构掩码进行联合计算和高效通信的个性化联合学习
DOI：
10.1145/3485730.3485929
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Chen, Yiran
中科院分区：
文献类型：
--
作者：
Li, Ang;Sun, Jingwei;Zeng, Xiao;Zhang, Mi;Li, Hai;Chen, Yiran
深度神经网络（DNN）的最新进展使各种移动深度学习应用成为可能。然而，由于手机等设备上的数据有限，局部训练DNN模型在技术上具有挑战性。联邦学习（FL）是一种分布式机器学习范式，它允许在不侵犯数据隐私的情况下对驻留在设备上的分散数据进行模型训练。因此，FL成为部署设备上深度学习应用程序的自然选择。然而，跨设备驻留的数据本质上是统计异构的（即，非iid数据分布），移动设备通常具有有限的通信带宽来传输本地更新。这种统计异构性和通信带宽限制是制约FL在实际应用中的两大瓶颈。此外，考虑到移动设备通常具有有限的计算资源，提高训练和运行dnn的计算效率对于开发设备上的深度学习应用至关重要。在本文中，我们提出了FedMask -一个通信和计算效率高的FL框架。通过应用FedMask，每个设备都可以学习个性化和结构化的稀疏DNN，该DNN可以在设备上高效运行。为了实现这一点，每个设备学习一个稀疏的二进制掩码（即每个网络参数1位），同时保持每个局部模型的参数不变；只有这些二进制掩码将在服务器和设备之间通信。在经典FL中，每个设备不是学习一个共享的全局模型，而是通过将学习到的二值掩码应用到局部模型的固定参数中，得到一个个性化的、结构化的稀疏模型。实验表明，与现有方法相比，FedMask的推理准确率提高了28.47%，通信成本和计算成本分别降低了34.48倍和2.44倍。FedMask还实现了1.56倍的推理加速，降低了1.78倍的能耗。
Recent advancements in deep neural networks (DNN) enabled various mobile deep learning applications. However, it is technically challenging to locally train a DNN model due to limited data on devices like mobile phones. Federated learning (FL) is a distributed machine learning paradigm which allows for model training on decentralized data residing on devices without breaching data privacy. Hence, FL becomes a natural choice for deploying on-device deep learning applications. However, the data residing across devices is intrinsically statistically heterogeneous (i.e., non-IID data distribution) and mobile devices usually have limited communication bandwidth to transfer local updates. Such statistical heterogeneity and communication bandwidth limit are two major bottlenecks that hinder applying FL in practice. In addition, considering mobile devices usually have limited computational resources, improving computation efficiency of training and running DNNs is critical to developing on-device deep learning applications. In this paper, we present FedMask - a communication and computation efficient FL framework. By applying FedMask, each device can learn a personalized and structured sparse DNN, which can run efficiently on devices. To achieve this, each device learns a sparse binary mask (i.e., 1 bit per network parameter) while keeping the parameters of each local model unchanged; only these binary masks will be communicated between the server and the devices. Instead of learning a shared global model in classic FL, each device obtains a personalized and structured sparse model that is composed by applying the learned binary mask to the fixed parameters of the local model. Our experiments show that compared with status quo approaches, FedMask improves the inference accuracy by 28.47% and reduces the communication cost and the computation cost by 34.48X and 2.44X. FedMask also achieves 1.56X inference speedup and reduces the energy consumption by 1.78X.
登录
查看更多内容
DOI：
--
发表时间：
2019-06
期刊：
--
影响因子：
--
作者：
M. Khodak;Maria-Florina Balcan;Ameet Talwalkar
通讯作者：
M. Khodak;Maria-Florina Balcan;Ameet Talwalkar
关于分布式深度学习压缩通信的理论分析与实际实现之间的差异
DOI：
--
发表时间：
2019
期刊：
AAAI Conference on Artificial Intelligence
影响因子：
--
作者：
Aritra Dutta;E. Bergou;A. Abdelmoniem;Chen;Atal Narayan Sahu;Marco Canini;Panos Kalnis
通讯作者：
Panos Kalnis
DOI：
--
发表时间：
2020-03
期刊：
ArXiv
影响因子：
--
作者：
Jonas Geiping;Hartmut Bauermeister;Hannah Dröge;Michael Moeller
通讯作者：
Jonas Geiping;Hartmut Bauermeister;Hannah Dröge;Michael Moeller
边缘计算时代的深度学习：挑战与机遇
DOI：
10.1002/9781119551713.ch3
发表时间：
2020
期刊：
ArXiv
影响因子：
--
作者：
Mi Zhang;Faen Zhang;N. Lane;Yuanchao Shu;Xiao Zeng;Biyi Fang;Shen Yan;Hui Xu
通讯作者：
Hui Xu