Extremely Fast Convergence Rates for Extremum Seeking Control with Polyak-Ruppert Averaging
Extremely Fast Convergence Rates for Extremum Seeking Control with Polyak-Ruppert Averaging
复制标题
使用 Polyak-Ruppert 平均实现极值搜索控制的极快收敛速度
DOI：
--
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Sean P. Meyn
中科院分区：
文献类型：
--
作者：
Caio Kalil Lauand;Sean P. Meyn
随机近似是机器学习和优化中许多算法的基础。一般来说，它的收敛速度很慢：均方误差为O（n^{-1}）$。一种被称为准随机近似的确定性对应物在许多应用中是一种可行的替代方案，包括无梯度优化和强化学习。在先前的研究中，假设最佳可达收敛速度为O（n^{-2}）$。本文表明，通过设计，有可能获得O（n^{-4+delta}）$阶的更快收敛，其中delta>0$是任意的。两种技术首次引入，以实现这种收敛速度。该理论还专门在无梯度优化的背景下，并在标准基准测试。主要结果是基于组合的新应用的结果从数论和技术适应随机逼近理论。
Stochastic approximation is a foundation for many algorithms found in machine learning and optimization. It is in general slow to converge: the mean square error vanishes as $O(n^{-1})$. A deterministic counterpart known as quasi-stochastic approximation is a viable alternative in many applications, including gradient-free optimization and reinforcement learning. It was assumed in prior research that the optimal achievable convergence rate is $O(n^{-2})$. It is shown in this paper that through design it is possible to obtain far faster convergence, of order $O(n^{-4+delta})$, with $delta>0$ arbitrary. Two techniques are introduced for the first time to achieve this rate of convergence. The theory is also specialized within the context of gradient-free optimization, and tested on standard benchmarks. The main results are based on a combination of novel application of results from number theory and techniques adapted from stochastic approximation theory.
登录
查看更多内容
随机近似中的偏差无法通过平均来消除
DOI：
10.1109/allerton49937.2022.9929369
发表时间：
2022
期刊：
and Computing
影响因子：
--
作者：
Lauand, Caio Kalil;Meyn, Sean
通讯作者：
Meyn, Sean
拟随机逼近：设计原理及其在极值搜索控制中的应用
DOI：
10.1109/mcs.2023.3291884
发表时间：
2023
期刊：
IEEE Control Systems
影响因子：
--
作者：
Lauand, Caio Kalil;Meyn, Sean
通讯作者：
Meyn, Sean
DOI：
10.1109/cdc40024.2019.9029247
发表时间：
2019
期刊：
Proceedings of the IEEE Conference on Decision Control
影响因子：
--
作者：
Bernstein, Andrey;Chen, Yue;Colombino, Marcello;Dall'Anese, Emiliano;Mehta, Prashant;Meyn, Sean
通讯作者：
Meyn, Sean
动量方法的连续时间分析
影响因子：
6
作者：
Kovachki, Nikola;Stuart, Andrew M.
通讯作者：
Stuart, Andrew M.