Global convergence of the gradient method for functions definable in o-minimal structures

Global convergence of the gradient method for functions definable in o-minimal structures
复制标题

o-极小结构中可定义函数的梯度法的全局收敛性

DOI:
10.1007/s10107-023-01937-5
复制
发表时间:
2023
影响因子:
2.7
通讯作者:
Josz, Cédric
Josz, Cédric
中科院分区:
数学2区
文献类型:
--
作者:
Josz, Cédric

文献摘要

参考文献

被引文献

相似文献

对于实数域上可定义的0 -极小结构和局部Lipschitz梯度可微的最小化函数,研究了变步长梯度法。我们证明了如果连续梯度轨迹是有界的,并且当步长大于一个正常数时,最小梯度范数以比率(1/k)消失,则全局收敛性成立。另外,如果梯度是连续可微的,所有鞍点都是严格的,并且步长是恒定的,那么在任何有界的初始点集合上收敛到局部最小值几乎肯定成立。
We consider the gradient method with variable step size for minimizing functions that are definable in o-minimal structures on the real field and differentiable with locally Lipschitz gradients. We prove that global convergence holds if continuous gradient trajectories are bounded, with the minimum gradient norm vanishing at the rateo(1/k) if the step sizes are greater than a positive constant. If additionally the gradient is continuously differentiable, all saddle points are strict, and the step sizes are constant, then convergence to a local minimum holds almost surely over any bounded set of initial points.
线性神经网络中梯度下降算法的几何方法
DOI: --
发表时间: 2018
期刊:
影响因子: --
作者:
Y. Chitour;Zhenyu Liao;Romain Couillet
通讯作者: Romain Couillet
应用于线性系统的弛豫方法的一般理论
DOI: --
发表时间: 1939
期刊:
影响因子: --
作者:
G. Temple
通讯作者: G. Temple
拟凸函数的最速下降曲线的最大长度
DOI: --
发表时间: 1991
期刊:
影响因子: --
作者:
P. Manselli;C. Pucci
通讯作者: C. Pucci
无正则化集中式和分布式低秩矩阵恢复的全局几何
DOI: 10.1109/lsp.2020.3008876
发表时间: 2020
影响因子: 3.9
作者:
Li, Shuang;Li, Qiuwei;Zhu, Zhihui;Tang, Gongguo;Wakin, Michael B.
通讯作者: Wakin, Michael B.
DOI: 10.1007/s002220050066
发表时间: 1996
影响因子: 3.1
作者:
A. Gabrielov
通讯作者: A. Gabrielov