Approximating sparse Hessian matrices using large-scale linear least squares
Approximating sparse Hessian matrices using large-scale linear least squares
复制标题
使用大规模线性最小二乘法逼近稀疏 Hessian 矩阵
DOI：
10.1007/s11075-023-01681-z
复制
发表时间：
2023
影响因子：
2.1
通讯作者：
Fowkes J
中科院分区：
文献类型：
--
作者：
Fowkes J
大规模优化算法经常需要稀疏的Hessian矩阵，这是不容易获得的。现有的方法近似大型稀疏海森矩阵有局限性。为了尝试和克服这些，我们提出了一种新的方法，重新制定了一个大型线性最小二乘问题的解决方案的问题。最小二乘问题是稀疏的，但可以包括多个行，这些行包含的条目比其他行多得多，因此被认为是密集的。我们利用最近的工作解决这些问题，使用正规方程或增广系统，以获得一个强大的方法来计算近似稀疏Hessian矩阵。从CUTEst测试问题集合的优化实例稀疏海森说明了新方法的有效性和鲁棒性。
Large-scale optimization algorithms frequently require sparse Hessian matrices that are not readily available. Existing methods for approximating large sparse Hessian matrices have limitations. To try and overcome these, we propose a novel approach that reformulates the problem as the solution of a large linear least squares problem. The least squares problem is sparse but can include a number of rows that contain significantly more entries than other rows and are regarded as dense. We exploit recent work on solving such problems using either the normal equations or an augmented system to derive a robust approach for computing approximate sparse Hessian matrices. Example sparse Hessians from the CUTEst test problem collection for optimization illustrate the effectiveness and robustness of the new method.
登录
查看更多内容
DOI：
10.1007/978-3-030-01431-5
发表时间：
2018
期刊：
--
影响因子：
--
作者：
M. Rozložník
通讯作者：
M. Rozložník
关于稀疏粗麻布的拟牛顿估计的示例
DOI：
10.1145/1057562.1057564
发表时间：
1981
期刊：
ACM Signum Newsletter
影响因子：
--
作者：
D. Sorensen
通讯作者：
D. Sorensen
具有某些密集行的最小二乘问题的拉伸的优点和局限性
DOI：
10.1145/3412559
发表时间：
2020
期刊：
ACM Transactions on Mathematical Software (TOMS)
影响因子：
--
作者：
J. Scott;M. Tuma
通讯作者：
M. Tuma
用于预处理具有某些密集行的稀疏线性最小二乘问题的 Schur 补法
影响因子：
2.1
作者：
J. Scott;M. Tuma
通讯作者：
M. Tuma
适用于多核架构的新型并行稀疏直接求解器
影响因子：
2.3
作者：
Jonathan D. Hogg;J. Scott
通讯作者：
J. Scott