Convergence study on the proximal alternating direction method with larger step size
Convergence study on the proximal alternating direction method with larger step size
复制标题
大步长近端交替方向法的收敛性研究
DOI：
10.1007/s11075-019-00819-2
复制
发表时间：
2019-11
影响因子：
2.1
通讯作者：
Ma Feng
中科院分区：
文献类型：
--
作者：
Ma Feng
交替方向乘子法（ADMM）是求解线性约束可分凸规划的一种常用方法，其近似形式是一种重要的变形。在文献中，Fortin和Glowinski证明了用于更新ADMM的拉格朗日乘子的步长可以在0到黄金分割比的开区间内选择，并且随后该结果已被证明对于邻近ADMM也是有效的。在本文中，我们证明了对偶步长可以大于黄金比例时，近端正则化是正定的。因此，双步长的可行区间可以进一步扩大近端ADMM。此外，我们还建立了对偶步长与邻近参数之间的精确关系。我们还证明了全局收敛性，并建立了一个最坏情况下的遍历意义下的收敛速度与扩大的步长与此接近的计划。最后，我们提出的数值结果来证明该方法的实际性能。
The alternating direction method of multipliers (ADMM) is a popular method for solving separable convex programs with linear constraints, and its proximal version is an important variant. In the literature, Fortin and Glowinski proved that the step size for updating the Lagrange multiplier of the ADMM can be chosen in the open interval of zero to the golden ratio, and subsequently this result has been proved to be also valid for the proximal ADMM. In this paper, we demonstrate that the dual step size can be larger than the golden ratio when the proximal regularization is positive definite. Thus, the feasible interval of the dual step size can be further enlarged for the proximal ADMM. Moreover, we establish the exact relationship between the dual step size and the proximal parameter. We also prove global convergence and establish a worst case convergence rate in the ergodic sense for this proximal scheme with the enlarged step size. Finally, we present numerical results to demonstrate the practical performance of the method.
登录
查看更多内容
DOI：
10.1117/3.975277.ch6
发表时间：
2019-01
期刊：
Essential Algorithms
影响因子：
--
作者：
Marcell Schweitzer;Denis Duesseldorf
通讯作者：
Marcell Schweitzer;Denis Duesseldorf
凸规划乘法器交替方向法的最优线性化
影响因子：
2.2
作者：
He Bingsheng;Ma Feng;Yuan Xiaoming
通讯作者：
Yuan Xiaoming
DOI：
10.1007/b97543
发表时间：
2003
期刊：
--
影响因子：
--
作者：
F. Facchinei;J. Pang
通讯作者：
F. Facchinei;J. Pang
影响因子：
1.2
作者：
R. Chan;M. Tao;Xiaoming Yuan
通讯作者：
R. Chan;M. Tao;Xiaoming Yuan
DOI：
10.1109/isit.2012.6283062
发表时间：
2012-02
期刊：
2012 IEEE International Symposium on Information Theory Proceedings
影响因子：
--
作者：
John Wright;Arvind Ganesh;Kerui Min;Yi Ma
通讯作者：
John Wright;Arvind Ganesh;Kerui Min;Yi Ma