Convergence of Hyperbolic Neural Networks Under Riemannian Stochastic Gradient Descent
Convergence of Hyperbolic Neural Networks Under Riemannian Stochastic Gradient Descent
复制标题
黎曼随机梯度下降下双曲神经网络的收敛性
DOI：
10.1007/s42967-023-00302-9
复制
发表时间：
2023
影响因子：
1.6
通讯作者：
Xin, Jack
中科院分区：
文献类型：
--
作者：
Whiting, Wes;Wang, Bao;Xin, Jack
在温和的条件下，证明了一类双曲神经网络回归模型的riemanian梯度下降法在批量梯度下降和随机梯度下降下的收敛性。我们还讨论了亚当算法的黎曼版本。我们展示了这些算法在各种基准上的数值模拟。
We prove, under mild conditions, the convergence of a Riemannian gradient descent method for a hyperbolic neural network regression model, both in batch gradient descent and stochastic gradient descent. We also discuss a Riemannian version of the Adam algorithm. We show numerical simulations of these algorithms on various benchmarks.