A Parallel SGD method with Strong Convergence
A Parallel SGD method with Strong Convergence
复制标题
一种强收敛性的并行SGD方法
DOI：
--
复制
发表时间：
2013
期刊：
影响因子：
--
通讯作者：
L. Bottou
中科院分区：
文献类型：
--
作者：
D. Mahajan;S. Keerthi;S. Sundararajan;L. Bottou
本文提出了一种新的并行随机梯度下降（SGD）方法，该方法通过应用并行SGD迭代集（每个集合使用驻留在其中的数据在一个节点上操作）来获得，以在批下降方法的每次迭代中找到方向。该方法具有较强的收敛性。在高维特征空间数据集上的实验表明了该方法的有效性。
This paper proposes a novel parallel stochastic gradient descent (SGD) method that is obtained by applying parallel sets of SGD iterations (each set operating on one node using the data residing in it) for finding the direction in each iteration of a batch descent method. The method has strong convergence properties. Experiments on datasets with high dimensional feature spaces show the value of this method.