DRIVE: One-bit Distributed Mean Estimation
DRIVE: One-bit Distributed Mean Estimation
复制标题
DOI：
--
复制
发表时间：
2021-05
期刊：
影响因子：
--
通讯作者：
S. Vargaftik;Ran Ben Basat;Amit Portnoy;Gal Mendelson;Y. Ben-Itzhak;M. Mitzenmacher
中科院分区：
文献类型：
--
作者：
S. Vargaftik;Ran Ben Basat;Amit Portnoy;Gal Mendelson;Y. Ben-Itzhak;M. Mitzenmacher
我们考虑的问题，其中$n$客户端传输$d$维实值向量使用$d（1+o（1））$位，每一个，在某种程度上，允许接收器近似重建其平均值。这种压缩问题自然会出现在分布式和联邦学习中。我们提供了新的数学结果，并得出计算效率高的算法，比以前的压缩技术更准确。我们使用各种数据集在分布式和联合学习任务的集合上评估我们的方法，并显示出对最先进技术的一致改进。
We consider the problem where $n$ clients transmit $d$-dimensional real-valued vectors using $d(1+o(1))$ bits each, in a manner that allows the receiver to approximately reconstruct their mean. Such compression problems naturally arise in distributed and federated learning. We provide novel mathematical results and derive computationally efficient algorithms that are more accurate than previous compression techniques. We evaluate our methods on a collection of distributed and federated learning tasks, using a variety of datasets, and show a consistent improvement over the state of the art.