An asynchronous parallel stochastic coordinate descent algorithm
An asynchronous parallel stochastic coordinate descent algorithm
复制标题
DOI：
10.5555/2789272.2789282
复制
发表时间：
2013-11
期刊：
影响因子：
--
通讯作者：
Ji Liu;Stephen J. Wright;C. Ré;Victor Bittorf;Srikrishna Sridhar
中科院分区：
文献类型：
--
作者：
Ji Liu;Stephen J. Wright;C. Ré;Victor Bittorf;Srikrishna Sridhar
我们描述了一个异步并行随机坐标下降算法最小化光滑无约束或可分离约束的功能。该方法在满足本质强凸性的函数上具有线性收敛速度，在一般凸函数上具有次线性收敛速度（1/K）。如果处理器的数量在无约束优化中为O（n1/2），在可分离约束的情况下为O（n1/4），则可以预期多核系统上的近线性加速比，其中n是变量的数量。我们描述了40核处理器上实现的结果。
We describe an asynchronous parallel stochastic coordinate descent algorithm for minimizing smooth unconstrained or separably constrained functions. The method achieves a linear convergence rate on functions that satisfy an essential strong convexity property and a sublinear rate (1/K) on general convex functions. Near-linear speedup on a multicore system can be expected if the number of processors is O(n1/2) in unconstrained optimization and O(n1/4) in the separable-constrained case, where n is the number of variables. We describe results from implementation on 40-core processors.