QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM
QC-ODKLA: Quantized and Communication-Censored Online Decentralized Kernel Learning via Linearized ADMM
复制标题
QC-ODKLA：通过线性化 ADMM 进行量化和通信审查的在线去中心化内核学习
DOI：
10.1109/tnnls.2023.3310499
复制
发表时间：
2023
影响因子：
10.4
通讯作者：
Tian, Zhi
中科院分区：
文献类型：
--
作者：
Xu, Ping;Wang, Yue;Chen, Xiang;Tian, Zhi
本文重点关注分散网络上的在线内核学习。网络中的每个智能体接收在线流数据，并在再生核希尔伯特空间（RKHS）中协作学习全局最优的非线性预测函数。为了克服传统在线核学习中的维数灾难问题，我们利用随机特征（RF）映射将非参数核学习问题转化为RF空间中的固定长度参数问题。然后，我们提出了一种新的学习框架，名为在线分散内核学习通过线性ADMM（ODKLA），有效地解决在线分散内核学习问题。为了提高通信效率，我们在通信阶段引入了量化和删失策略，从而产生了量化和通信删失ODKLA（QC-ODKLA）算法。从理论上证明了ODKLA和QC-ODKLA都能获得最优的次线性重传时隙。通过数值实验，我们评估了所提出的方法的学习效率，通信效率和计算效率。
This article focuses on online kernel learning over a decentralized network. Each agent in the network receives online streaming data and collaboratively learns a globally optimal nonlinear prediction function in the reproducing kernel Hilbert space (RKHS). To overcome the curse of dimensionality issue in traditional online kernel learning, we utilize random feature (RF) mapping to convert the nonparametric kernel learning problem into a fixed-length parametric one in the RF space. We then propose a novel learning framework, named online decentralized kernel learning via linearized ADMM (ODKLA), to efficiently solve the online decentralized kernel learning problem. To enhance communication efficiency, we introduce quantization and censoring strategies in the communication stage, resulting in the quantized and communication-censored ODKLA (QC-ODKLA) algorithm. We theoretically prove that both ODKLA and QC-ODKLA can achieve the optimal sublinear regretovertime slots. Through numerical experiments, we evaluate the learning effectiveness, communication efficiency, and computation efficiency of the proposed methods.
登录
查看更多内容
DOI：
--
发表时间：
2014-07
期刊：
--
影响因子：
--
作者：
Bo Dai;Bo Xie;Niao He;Yingyu Liang;Anant Raj;Maria-Florina Balcan;Le Song
通讯作者：
Bo Dai;Bo Xie;Niao He;Yingyu Liang;Anant Raj;Maria-Florina Balcan;Le Song
DOI：
10.1109/ieeeconf53345.2021.9723285
发表时间：
2020-01
期刊：
2021 55th Asilomar Conference on Signals, Systems, and Computers
影响因子：
--
作者：
Pranay Sharma;Prashant Khanduri;Lixin Shen;Donald J. Bucci;P. Varshney
通讯作者：
Pranay Sharma;Prashant Khanduri;Lixin Shen;Donald J. Bucci;P. Varshney
DOI：
--
发表时间：
2020-07
期刊：
--
影响因子：
--
作者：
Dominic Richards;Patrick Rebeschini;L. Rosasco
通讯作者：
Dominic Richards;Patrick Rebeschini;L. Rosasco
影响因子：
5
作者：
Wendi Wu;Zongren Li;Yawei Zhao;Chenkai Yu;P. Zhao;Ji Liu;K. He
通讯作者：
Wendi Wu;Zongren Li;Yawei Zhao;Chenkai Yu;P. Zhao;Ji Liu;K. He
影响因子：
9
作者：
Tianyi Chen;G. Giannakis;Tao Sun;W. Yin
通讯作者：
Tianyi Chen;G. Giannakis;Tao Sun;W. Yin