Mini-batch algorithms with online step size
Mini-batch algorithms with online step size
复制标题
具有在线步长的小批量算法
DOI：
10.1016/j.knosys.2018.11.031
复制
发表时间：
2019-02
影响因子：
8.8
通讯作者：
Jonathan Li
中科院分区：
文献类型：
--
作者：
Zhuang Yang;Cheng Wang;Zhemin Zhang;Jonathan Li
小批量算法已被提出作为一种方法来加速随机优化方法和良好的结果，小批量算法已被报道以前。小批量算法的一个主要问题是如何在运行算法的同时及时、方便地获取步长。通常，小批量算法采用递减步长，或由导师最佳调整的步长，这在实践中是耗时的。为了解决这个问题，我们提出使用超梯度来计算小批量算法的在线步长（OSS）。具体来说，我们将在线步长到先进的小批量算法，小批量非凸随机方差约减梯度（MSVRG），从而产生一个新的方法，MSVRG-OSS。当在MSVRG-OSS中计算步长时，使用小批量样本。此外，MSVRG-OSS，它需要很少的额外计算，只需要一个额外的副本，原始梯度存储在内存中。我们证明了MSVRG-OSS的线性收敛的期望和分析其复杂性。我们提出的机器学习所产生的问题的数值结果表明，所提出的方法表现出很大的希望。我们还表明，稍大批量的样本，MSVRG-OSS是不敏感的初始参数，这是控制算法的性能的关键因素。
Mini-batch algorithms have been proposed as a way to speed-up stochastic optimization methods and good results for mini-batch algorithms have been reported previously. A major issue with mini-batch algorithms is how to timely and readily acquire step size while running the algorithm. Usually, mini-batch algorithms employ a diminishing step size, or a best-tuned step size by mentor, which, in practice, are time consuming. To solve this problem, we propose using a hypergradient to compute an online step size (OSS) for mini-batch algorithms. Specifically, we incorporate online step size into advanced mini-batch algorithms, mini-batch nonconvex stochastic variance reduced gradient (MSVRG), thereby generating a new method, MSVRG-OSS. When computing step size in MSVRG-OSS, mini-batch samples are used. In addition, MSVRG-OSS, which needs little additional computation, requires only one extra copy of the original gradient to be stored in memory. We prove that MSVRG-OSS converges linearly in expectation and analyze its complexity. We present numerical results on problems arising with machine learning that indicate the proposed method shows great promise. We also show that, with slightly large batch samples, MSVRG-OSS is insensitive to the initial parameters, which are the key factor for controlling the performance of the algorithm.
登录
查看更多内容
DOI：
10.1109/induseng.2016.7519357
发表时间：
2016
期刊：
2016 12th International Conference on Industrial Engineering (ICIE)
影响因子：
--
作者：
M. Sobhanallahi;Abolfazl Gharaei;Mohammad Pilbala
通讯作者：
M. Sobhanallahi;Abolfazl Gharaei;Mohammad Pilbala
DOI：
10.1109/induseng.2016.7519358
发表时间：
2016
期刊：
2016 12th International Conference on Industrial Engineering (ICIE)
影响因子：
--
作者：
M. Sobhanallahi;Abolfazl Gharaei;Mohammad Pilbala
通讯作者：
M. Sobhanallahi;Abolfazl Gharaei;Mohammad Pilbala
DOI：
--
发表时间：
2016-05
期刊：
ArXiv
影响因子：
--
作者：
A. Berahas;J. Nocedal;Martin Takác
通讯作者：
A. Berahas;J. Nocedal;Martin Takác
DOI：
10.1109/78.218137
发表时间：
1993-06
期刊：
IEEE Trans. Signal Process.
影响因子：
--
作者：
V. J. Mathews;Zhenhua Xie
通讯作者：
V. J. Mathews;Zhenhua Xie
DOI：
10.1007/b98874
发表时间：
2018-09
期刊：
--
影响因子：
--
作者：
J. Nocedal;Stephen J. Wright
通讯作者：
J. Nocedal;Stephen J. Wright