Distributed Inference for Linear Support Vector Machine
Distributed Inference for Linear Support Vector Machine
复制标题
线性支持向量机的分布式推理
DOI：
--
复制
发表时间：
2018-11
影响因子：
6
通讯作者：
Weidong Liu
中科院分区：
文献类型：
--
作者：
Xiaozhou Wang;Zhuoyi Yang;Xi Chen;Weidong Liu
现代数据规模的不断增长给现有的统计推断方法和理论带来了许多新的挑战，并要求发展分布式推断方法。本文研究了线性支持向量机（SVM）的分布式推理问题。尽管有大量关于SVM的文献，但对SVM的推理特性知之甚少，特别是在分布式环境中。在本文中，我们提出了一个多轮分布式线性型（MDL）估计进行推理的线性SVM。所提出的估计是计算效率。特别是，它只需要一个初始的SVM估计，然后通过解决简单的加权最小二乘问题，逐步完善的估计。在理论上，我们建立了估计量的Bahadur表示。在此基础上，进一步导出了渐近正态性，表明MDL估计达到了最优统计效率，即，与经典线性SVM在单个机器设置中应用于整个数据集的效率相同。此外，我们的渐近结果避免了机器或数据批次的数量，这是通常假设在分布估计文献中的条件，并允许发散维的情况下。我们提供模拟研究，以证明所提出的MDL估计的性能。
The growing size of modern data brings many new challenges to existing statistical inference methodologies and theories, and calls for the development of distributed inferential approaches. This paper studies distributed inference for linear support vector machine (SVM) for the binary classification task. Despite a vast literature on SVM, much less is known about the inferential properties of SVM, especially in a distributed setting. In this paper, we propose a multi-round distributed linear-type (MDL) estimator for conducting inference for linear SVM. The proposed estimator is computationally efficient. In particular, it only requires an initial SVM estimator and then successively refines the estimator by solving simple weighted least squares problem. Theoretically, we establish the Bahadur representation of the estimator. Based on the representation, the asymptotic normality is further derived, which shows that the MDL estimator achieves the optimal statistical efficiency, i.e., the same efficiency as the classical linear SVM applying to the entire data set in a single machine setup. Moreover, our asymptotic result avoids the condition on the number of machines or data batches, which is commonly assumed in distributed estimation literature, and allows the case of diverging dimension. We provide simulation studies to demonstrate the performance of the proposed MDL estimator.
登录
查看更多内容
DOI：
10.1007/978-1-4899-7687-1_810
发表时间：
2017
期刊：
--
影响因子：
--
作者：
Xinhua Zhang
通讯作者：
Xinhua Zhang
影响因子：
4.5
作者：
Zhao T;Cheng G;Liu H
通讯作者：
Liu H
DOI：
10.1201/9781003139041-11
发表时间：
2021-03
期刊：
An Introduction to IoT Analytics
影响因子：
--
作者：
Harry G. Perros
通讯作者：
Harry G. Perros
影响因子：
7.4
作者：
Ke-Lin Du;M. Swamy
通讯作者：
Ke-Lin Du;M. Swamy
DOI：
10.1017/cbo9780511801389.013
发表时间：
2000-03
期刊：
--
影响因子：
--
作者：
N. Cristianini;J. Shawe-Taylor
通讯作者：
N. Cristianini;J. Shawe-Taylor