An adaptive control momentum method as an optimizer in the cloud
An adaptive control momentum method as an optimizer in the cloud
复制标题
作为云中优化器的自适应控制动量方法
DOI：
10.1016/j.future.2018.06.039
复制
发表时间：
2018-12
期刊：
影响因子：
--
通讯作者：
Dan Li
中科院分区：
文献类型：
--
作者：
Jianhao Ding;Lansheng Han;Dan Li
云中的许多问题可以转化为优化问题，其中数据具有高维性和随机性。因此，随机优化是自治云的关键。如何动态地调整学习速率和收敛路径是该领域的一个重要问题。本文提出了一种基于梯度的算法称为Adacom，这是基于自适应控制系统和动量。批判性地继承了以前的研究，一个参考模型被引入到生成更新。该方法减少了噪声，并决定具有较少振荡的路径，同时保持累积的学习率。由于系统设计特性，该方法需要较少的超参数进行调整。阐述了Adacom作为自治云通用优化器的前景，并通过迁移数据的假设探讨了Adacom在普适计算中的潜力。然后从理论上证明了Adacom的收敛性。通过对模拟数据的评价，证明了Adacom方法相对于其他基于梯度的方法的可行性和优越性。
Many issues in the cloud can be transformed into optimization problems, where data is of high dimension and randomness. Thus, stochastic optimizing is a key to Autonomous Cloud. And one of the most significant discussions in this field is how to adapt the learning rate and convergent path dynamically. This paper proposes a gradient-based algorithm called Adacom, that is based on an adaptive control system and momentum. Critically inheriting the previous studies, a reference model is introduced to generate the update. The method reduces noise and decides on paths with less oscillation, while maintaining the accumulated learning rate. Due to system design properties, the method requires fewer hyper-parameters for tuning. We state the prospect of Adacom as a general optimizer in Autonomous Cloud, and explore the potential of Adacom for pervasive computing by the assumption of transition data. Then we demonstrate the convergence of Adacom theoretically. The evaluations over the simulated transition data prove the feasibility and superiority of Adacom with other gradient-based methods.
登录
查看更多内容
DOI：
10.1109/infcom.2013.6566873
发表时间：
2013-04
期刊：
2013 Proceedings IEEE INFOCOM
影响因子：
--
作者：
Hong Xu;Baochun Li
通讯作者：
Hong Xu;Baochun Li
DOI：
10.18653/v1/d17-1046
发表时间：
2017-09
期刊：
--
影响因子：
--
作者：
You Lu;Jeffrey Lund;Jordan L. Boyd-Graber
通讯作者：
You Lu;Jeffrey Lund;Jordan L. Boyd-Graber
DOI：
10.1109/cloudcom-asia.2013.44
发表时间：
2013-12
期刊：
2013 International Conference on Cloud Computing and Big Data
影响因子：
--
作者：
W. Hong;Kuochen Wang;Yi-Huai Hsu
通讯作者：
W. Hong;Kuochen Wang;Yi-Huai Hsu
DOI：
--
发表时间：
2016-09
期刊：
ArXiv
影响因子：
--
作者：
Nishant A. Mehta;Alistair P. Rendell;Anish Varghese;C. Webers
通讯作者：
Nishant A. Mehta;Alistair P. Rendell;Anish Varghese;C. Webers
DOI：
10.1109/icccsn.2012.6215736
发表时间：
2012-04
期刊：
2012 International Conference on Cloud Computing and Social Networking (ICCCSN)
影响因子：
--
作者：
Adityas Widjajarto;S. Supangkat;Y. Gondokaryono;A. Prihatmanto
通讯作者：
Adityas Widjajarto;S. Supangkat;Y. Gondokaryono;A. Prihatmanto