Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
复制标题
DOI：
--
复制
发表时间：
2021-02
期刊：
影响因子：
--
通讯作者：
Shixiang Chen;Alfredo García;Mingyi Hong;Shahin Shahrampour
中科院分区：
文献类型：
--
作者：
Shixiang Chen;Alfredo García;Mingyi Hong;Shahin Shahrampour
我们考虑了一个分布式非凸优化问题，其中代理网络的目标是最小化Stiefel流形上的一个全局函数。全局函数被表示为光滑局部函数的有限和，其中每个局部函数与一个代理相关联，并且代理之间通过无向连通图进行通信。这个问题是非凸的，因为局部函数可能是非凸的(但光滑的)，而Steifel流形是一个非凸集。提出了一种分散化黎曼随机梯度法(DRSGD)，其收敛速度为数学上的{O}(1/Sqrt{K})$。为了具有恒定步长的精确收敛，我们还提出了一种分散的黎曼梯度跟踪算法(DRGTA)，其收敛速度为数学上的{O}(1/K)。我们使用多步一致性来保存局部(一致性)区域内的迭代。DRGTA算法是Stiefel流形上第一个精确收敛的分布式优化算法。
We consider a distributed non-convex optimization where a network of agents aims at minimizing a global function over the Stiefel manifold. The global function is represented as a finite sum of smooth local functions, where each local function is associated with one agent and agents communicate with each other over an undirected connected graph. The problem is non-convex as local functions are possibly non-convex (but smooth) and the Steifel manifold is a non-convex set. We present a decentralized Riemannian stochastic gradient method (DRSGD) with the convergence rate of $\mathcal{O}(1/\sqrt{K})$ to a stationary point. To have exact convergence with constant stepsize, we also propose a decentralized Riemannian gradient tracking algorithm (DRGTA) with the convergence rate of $\mathcal{O}(1/K)$ to a stationary point. We use multi-step consensus to preserve the iteration in the local (consensus) region. DRGTA is the first decentralized algorithm with exact convergence for distributed optimization on Stiefel manifold.