Generalized damped Newton algorithms in nonsmooth optimization via second-order subdifferentials
Generalized damped Newton algorithms in nonsmooth optimization via second-order subdifferentials
复制标题
基于二阶亚微分的非光滑优化中的广义阻尼牛顿算法
DOI：
10.1007/s10898-022-01248-7
复制
发表时间：
2023
影响因子：
1.8
通讯作者：
Tran, Dat Ba
中科院分区：
文献类型：
--
作者：
Khanh, Pham Duy;Mordukhovich, Boris S.;Phat, Vo Thanh;Tran, Dat Ba
本文提出并开发了新的广义阻尼牛顿型全局收敛算法，用于解决重要类别的非光滑优化问题。这些算法基于非光滑函数二阶次微分的理论和计算，并采用二阶变分分析和广义微分机制。首先，我们针对具有 Lipschitzian 梯度的连续可微函数类（二阶非光滑）开发了一种全局超线性收敛阻尼牛顿型算法。然后，我们设计了这样一个全局收敛算法来解决具有扩展实值成本函数的结构化非光滑二次复合问题，这通常出现在机器学习和统计中。最后，我们展示了数值实验的结果，并将我们的主要算法应用于一类重要的 Lasso 问题的性能与其他一阶和二阶优化算法所实现的性能进行了比较。
The paper proposes and develops new globally convergent algorithms of the generalized damped Newton type for solving important classes of nonsmooth optimization problems. These algorithms are based on the theory and calculations of second-order subdifferentials of nonsmooth functions with employing the machinery of second-order variational analysis and generalized differentiation. First we develop a globally superlinearly convergent damped Newton-type algorithm for the class of continuously differentiable functions with Lipschitzian gradients, which are nonsmooth of second order. Then we design such a globally convergent algorithm to solve a structured class of nonsmooth quadratic composite problems with extended-real-valued cost functions, which typically arise in machine learning and statistics. Finally, we present the results of numerical experiments and compare the performance of our main algorithm applied to an important class of Lasso problems with those achieved by other first-order and second-order optimization algorithms.
登录
查看更多内容
影响因子：
1.3
作者：
Ashkan Mohammadi;B. Mordukhovich;M. Sarabi
通讯作者：
Ashkan Mohammadi;B. Mordukhovich;M. Sarabi
DOI：
10.1287/moor.2020.1074
发表时间：
2019-05
期刊：
Math. Oper. Res.
影响因子：
--
作者：
Ashkan Mohammadi;B. Mordukhovich;M. Sarabi
通讯作者：
Ashkan Mohammadi;B. Mordukhovich;M. Sarabi
影响因子：
1.7
作者：
Pham Duy Khanh;B. Mordukhovich;Vo Thanh Phat
通讯作者：
Pham Duy Khanh;B. Mordukhovich;Vo Thanh Phat
非光滑优化中倾斜稳定极小化的广义牛顿算法
影响因子：
3.1
作者：
B. Mordukhovich;Ebrahim Sarabi
通讯作者：
Ebrahim Sarabi
影响因子：
2.7
作者：
B. Mordukhovich;Xiaoming Yuan;Shangzhi Zeng;Jin Zhang
通讯作者：
B. Mordukhovich;Xiaoming Yuan;Shangzhi Zeng;Jin Zhang