Separating variables to accelerate non-convex regularized optimization
Separating variables to accelerate non-convex regularized optimization
复制标题
分离变量以加速非凸正则化优化
DOI：
10.1016/j.csda.2020.106943
复制
发表时间：
2020-07
影响因子：
1.8
通讯作者：
Wu Xianyi
中科院分区：
文献类型：
--
作者：
Liu Wenchen;Tang Yincai;Wu Xianyi
在本文中，提出了一种源于正交化EM思想的新颖变量分离算法，以使用非凸正则化器来寻找通用函数的最小化。我们算法的主要思想是通过添加一个项来构造一个新函数，该项允许在每个组件上单独求解最小化。建立了有关新算法的几个有吸引力的理论特性。新算法收敛到临界点之一的条件是目标函数具有强制性或者生成的序列在紧集中。还得到了算法的收敛速度。 Barzilai–Borwein (BB) 规则和 Nesterov 方法也用于加速我们的算法。新算法还可用于解决具有群结构正则器的一般函数的最小化问题。仿真和真实数据结果表明这些方法可以明显加速我们的方法。
In this paper, a novel variable separation algorithm stemmed from the idea of orthogonalization EM is proposed to find the minimization of general function with non-convex regularizer. The main idea of our algorithm is to construct a new function by adding an item that allows minimization to be solved separately on each component. Several attractive theoretical properties concerning the new algorithm are established. The new algorithm converges to one of the critical points with the condition that the objective function is coercive or the generated sequence is in a compact set. The convergence rate of the algorithm is also obtained. The Barzilai–Borwein (BB) rule and Nesterov’s method are also used to accelerate our algorithm. The new algorithm can also be used to solve the minimization of general function with group structure regularizer. The simulation and real data results show that these methods can accelerate our method obviously.
登录
查看更多内容
影响因子：
2.5
作者：
Xiao Nie;J. Huling;Peter Z. G. Qian
通讯作者：
Xiao Nie;J. Huling;Peter Z. G. Qian
影响因子：
4.5
作者：
Zhang, Cun-Hui
通讯作者：
Zhang, Cun-Hui
影响因子：
4.5
作者：
H. Zou;Runze Li
通讯作者：
H. Zou;Runze Li
影响因子：
4.5
作者：
Zou, Hui;Li, Runze
通讯作者：
Li, Runze
影响因子：
2.7
作者：
Ghadimi, Saeed;Lan, Guanghui
通讯作者：
Lan, Guanghui