Scalable estimation strategies based on stochastic approximations: Classical results and new insights.
Scalable estimation strategies based on stochastic approximations: Classical results and new insights.
复制标题
DOI：
10.1007/s11222-015-9560-y
复制
发表时间：
2015-07-01
影响因子：
2.2
通讯作者：
Toulis P
中科院分区：
文献类型：
--
作者：
Airoldi EM;Toulis P
随机梯度方法可以促进大量数据的估计，其中模型参数在每一步使用小批量数据顺序更新。在这里，我们回顾了早期的工作和现代结果，说明了这些方法的统计特性，包括收敛率、稳定性以及渐近偏差和方差。然后，我们概述了这些方法有用的现代应用，从在线版本的 EM 算法到深度学习。根据这些结果，我们认为随机梯度方法有望成为大数据集的基准原则估计程序，特别是稳定近端方法系列中的方法，例如隐式随机梯度下降。
Estimation with large amounts of data can be facilitated by stochastic gradient methods, in which model parameters are updated sequentially using small batches of data at each step. Here, we review early work and modern results that illustrate the statistical properties of these methods, including convergence rates, stability, and asymptotic bias and variance. We then overview modern applications where these methods are useful, ranging from an online version of the EM algorithm to deep learning. In light of these results, we argue that stochastic gradient methods are poised to become benchmark principled estimation procedures for large data sets, especially those in the family of stable proximal methods, such as implicit stochastic gradient descent.
登录
查看更多内容
影响因子：
32.8
作者：
Bengio, Yoshua
通讯作者：
Bengio, Yoshua
影响因子：
2.9
作者：
Amari, S;Park, H;Fukumizu, K
通讯作者：
Fukumizu, K
影响因子：
2.4
作者：
Cappe, Olivier
通讯作者：
Cappe, Olivier
DOI：
10.1111/j.1467-9868.2009.00698.x
发表时间：
2009-01-01
影响因子：
5.8
作者：
Cappe, Olivier;Moulines, Eric
通讯作者：
Moulines, Eric
影响因子：
2.9
作者：
Amari, S
通讯作者：
Amari, S