A Framework of Convergence Analysis of Mini-batch Stochastic Projected Gradient Methods
A Framework of Convergence Analysis of Mini-batch Stochastic Projected Gradient Methods
复制标题
小批量随机投影梯度法收敛性分析框架
DOI：
10.1007/s40305-019-00276-7
复制
发表时间：
2019-11
影响因子：
1.4
通讯作者：
Xian-Tao Xiao
中科院分区：
文献类型：
--
作者：
Jian Gu;Xian-Tao Xiao
在本文中，我们建立了一个统一的框架来研究一类小批量随机（投影）梯度（SG）方法的几乎确定的全局收敛和预期收敛率，包括两种流行的SG类型：步长减少SG和批量大小增加SG。我们还表明，当目标函数的梯度是 Lipschitz 连续时，实际上不需要文献中经常使用的标准方差一致有界假设来研究 SG 的收敛性。最后，我们表明我们的框架还可以用于分析随机变分不等式的小批量随机超梯度方法的收敛性。
In this paper, we establish a unified framework to study the almost sure global convergence and the expected convergence rates of a class of mini-batch stochastic (projected) gradient (SG) methods, including two popular types of SG:stepsize diminishedSG andbatch size increasedSG. We also show that the standard variance uniformly bounded assumption, which is frequently used in the literature to investigate the convergence of SG, is actually not required when the gradient of the objective function is Lipschitz continuous. Finally, we show that our framework can also be used for analyzing the convergence of a mini-batch stochastic extragradient method for stochastic variational inequality.
登录
查看更多内容
DOI：
10.1007/b97543
发表时间：
2003
期刊：
--
影响因子：
--
作者：
F. Facchinei;J. Pang
通讯作者：
F. Facchinei;J. Pang
DOI：
10.2307/3616746
发表时间：
1980-05
期刊：
--
影响因子：
--
作者：
Patrick Billingsley
通讯作者：
Patrick Billingsley
DOI：
--
发表时间：
2018-02
期刊：
ArXiv
影响因子：
--
作者：
Lam M. Nguyen;Phuong Ha Nguyen;Marten van Dijk;Peter Richtárik;K. Scheinberg;Martin Takác
通讯作者：
Lam M. Nguyen;Phuong Ha Nguyen;Marten van Dijk;Peter Richtárik;K. Scheinberg;Martin Takác
DOI：
--
发表时间：
1976
期刊：
--
影响因子：
--
作者：
G. M. Korpelevich
通讯作者：
G. M. Korpelevich
影响因子：
2.7
作者：
Byrd, Richard H.;Chin, Gillian M.;Wu, Yuchen
通讯作者：
Wu, Yuchen