Convergence of adaptive algorithms for constrained weakly convex optimization
Convergence of adaptive algorithms for constrained weakly convex optimization
复制标题
约束弱凸优化自适应算法的收敛性
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
V. Cevher
中科院分区：
文献类型：
--
作者：
Ahmet Alacaoglu;Yura Malitsky;V. Cevher
我们分析了自适应一阶算法AMSGrad，用于求解具有弱凸目标的约束随机优化问题。我们证明了Moreau包络的梯度的平方范数的收敛速度为10（t − 1 / 2），这是这类问题的标准平稳性度量。它与自适应算法在无约束光滑非凸随机优化的特定情况下所享有的已知速率相匹配。我们的分析适用于小批量大小为1，恒定的一阶和二阶矩参数，以及可能的无界优化域。最后，我们说明了我们的结果的应用和扩展到特定的问题和算法。
We analyze the adaptive first order algorithm AMSGrad, for solving a constrained stochastic optimization problem with a weakly convex objective. We prove the ˜ O ( t − 1 / 2 ) rate of convergence for the squared norm of the gradient of Moreau envelope, which is the standard stationarity measure for this class of problems. It matches the known rates that adaptive algorithms enjoy for the specific case of unconstrained smooth nonconvex stochastic optimization. Our analysis works with mini-batch size of 1 , constant first and second order moment parameters, and possibly unbounded optimization domains. Finally, we illustrate the applications and extensions of our results to specific problems and algorithms.
登录
查看更多内容
DOI：
10.1287/moor.2017.0889
发表时间：
2016-02
期刊：
Math. Oper. Res.
影响因子：
--
作者：
D. Drusvyatskiy;A. Lewis
通讯作者：
D. Drusvyatskiy;A. Lewis
影响因子：
3
作者：
Davis, Damek;Drusvyatskiy, Dmitriy;Lee, Jason D.
通讯作者：
Lee, Jason D.
影响因子：
2.7
作者：
Drusvyatskiy, D.;Paquette, C.
通讯作者：
Paquette, C.
影响因子：
13.7
作者：
Martin, Ian
通讯作者：
Martin, Ian