Stochastic Gradient and Langevin Processes
Stochastic Gradient and Langevin Processes
复制标题
DOI：
--
复制
发表时间：
2019-07
期刊：
影响因子：
--
通讯作者：
Xiang Cheng;Dong Yin;P. Bartlett;Michael I. Jordan
中科院分区：
文献类型：
--
作者：
Xiang Cheng;Dong Yin;P. Bartlett;Michael I. Jordan
我们证明了定量收敛速率，其中离散的兰格维犬样过程会收敛到相关随机微分方程的不变分布。我们研究了添加噪声可能是非高斯和状态依赖性的设置，并且潜在函数可以是非凸。我们表明，这些过程的关键属性取决于添加噪声的潜在函数和第二刻。我们将理论发现应用于研究随机梯度下降（SGD）的非凸问题的收敛性，并通过使用SGD进行实验来证实它们，以训练CIFAR-10数据集中的深神经网络。
We prove quantitative convergence rates at which discrete Langevin-like processes converge to the invariant distribution of a related stochastic differential equation. We study the setup where the additive noise can be non-Gaussian and state-dependent and the potential function can be non-convex. We show that the key properties of these processes depend on the potential function and the second moment of the additive noise. We apply our theoretical findings to studying the convergence of Stochastic Gradient Descent (SGD) for non-convex problems and corroborate them with experiments using SGD to train deep neural networks on the CIFAR-10 dataset.