Uniform-in-Time Weak Error Analysis for Stochastic Gradient Descent Algorithms via Diffusion Approximation
Uniform-in-Time Weak Error Analysis for Stochastic Gradient Descent Algorithms via Diffusion Approximation
复制标题
通过扩散近似对随机梯度下降算法进行均匀时间弱误差分析
DOI：
10.4310/cms.2020.v18.n1.a7
复制
发表时间：
2019-02
影响因子：
1
通讯作者：
Yulong Lu
中科院分区：
文献类型：
--
作者：
Yuanyuan Feng;Tingran Gao;Lei Li;Jian-Guo Liu;Yulong Lu
扩散近似在有限时间范围内为随机梯度下降算法提供了弱近似。本文将数值随机微分方程向后误差分析的新工具引入扩散近似的理论框架中，将弱近似的有效性从有限时间扩展到无限时间.在本文中开发的新技术使我们能够表征的渐近行为的恒定步长SGD算法的强凸目标函数，以前无法达到的扩散近似框架内的目标。我们的分析建立在截断的正式权力扩展所产生的随机修改方程的扩散近似，其中的主要技术成分是一个统一的时间弱误差界控制的长期行为的膨胀系数函数附近的全球最小值的解决方案。我们希望这些新技术能够大大扩展扩散近似的适用范围，以涵盖数据科学中随机优化算法的更广泛和更深入的方面。
Diffusion approximation provides weak approximation for stochastic gradient descent algorithms in a finite time horizon. In this paper, we introduce new tools motivated by the backward error analysis of numerical stochastic differential equations into the theoretical framework of diffusion approximation, extending the validity of the weak approximation from finite to infinite time horizon. The new techniques developed in this paper enable us to characterize the asymptotic behavior of constant-step-size SGD algorithms for strongly convex objective functions, a goal previously unreachable within the diffusion approximation framework. Our analysis builds upon a truncated formal power expansion of the solution of a stochastic modified equation arising from diffusion approximation, where the main technical ingredient is a uniform-in-time weak error bound controlling the long-term behavior of the expansion coefficient functions near the global minimum. We expect these new techniques to greatly expand the range of applicability of diffusion approximation to cover wider and deeper aspects of stochastic optimization algorithms in data science.
登录
查看更多内容
DOI：
--
发表时间：
2017-04
期刊：
ArXiv
影响因子：
--
作者：
S. Mandt;M. Hoffman;D. Blei
通讯作者：
S. Mandt;M. Hoffman;D. Blei
DOI：
10.1137/130935616
发表时间：
2014-07
期刊：
SIAM J. Numer. Anal.
影响因子：
--
作者：
A. Abdulle;G. Vilmart;K. Zygalakis
通讯作者：
A. Abdulle;G. Vilmart;K. Zygalakis
DOI：
10.2139/ssrn.2954149
发表时间：
2016-11
期刊：
Econometrics: Econometric & Statistical Methods - General eJournal
影响因子：
--
作者：
Justin A. Sirignano;K. Spiliopoulos
通讯作者：
Justin A. Sirignano;K. Spiliopoulos
DOI：
--
发表时间：
2018-11
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Qianxiao Li;Cheng Tai;E. Weinan
通讯作者：
Qianxiao Li;Cheng Tai;E. Weinan
DOI：
10.1093/imanum/dru016
发表时间：
2013-10
期刊：
arXiv: Numerical Analysis
影响因子：
--
作者：
M. Kopec
通讯作者：
M. Kopec