Conditional Accelerated Lazy Stochastic Gradient Descent
Conditional Accelerated Lazy Stochastic Gradient Descent
复制标题
条件加速惰性随机梯度下降
DOI：
--
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Daniel Zink
中科院分区：
文献类型：
--
作者：
Guanghui Lan;S. Pokutta;Yi Zhou;Daniel Zink
在这项工作中，我们引入了一个条件加速惰性随机梯度下降算法，具有最佳的调用次数和收敛速度$Oleft（frac{1}{varepsilon^2}
ight）$改进Hazan和Kale [2012]的无投影、基于在线Frank-Wolfe的随机梯度下降，收敛速度为$Oleft（frac{1}{varepsilon^4}
八）$。
In this work we introduce a conditional accelerated lazy stochastic gradient descent algorithm with optimal number of calls to a stochastic first-order oracle and convergence rate $Oleft(frac{1}{varepsilon^2}
ight)$ improving over the projection-free, Online Frank-Wolfe based stochastic gradient descent of Hazan and Kale [2012] with convergence rate $Oleft(frac{1}{varepsilon^4}
ight)$.