Newton's Method in Mixed Precision
Newton's Method in Mixed Precision
复制标题
混合精度牛顿法
DOI：
10.1137/20m1342902
复制
发表时间：
2022
期刊：
影响因子：
10.2
通讯作者：
Kelley, C. T.
中科院分区：
文献类型：
--
作者：
Kelley, C. T.
我们研究使用降精度算法来求解线性方程的牛顿步骤。如果忽略线性求解中的向后误差，则众所周知的收敛理论意味着在线性求解中使用单精度对非线性收敛速度具有非常小的负面影响。然而，如果考虑向后误差的影响，那么通常的教科书估计是非常悲观的，甚至使用概率舍入分析的最新估计也不完全符合实验。我们报告的实验与一个具体的例子。我们以双精度、单精度和半精度存储和分解雅可比矩阵。在单精度情况下，我们观察到非线性迭代的收敛速度不会随着维度的增加而降低，并且非线性迭代统计数据与双精度计算基本相同。在半精度下，我们看到非线性收敛速度虽然很差，但不会随着维数的增加而降低。
We investigate the use of reduced precision arithmetic to solve the linear equation for the Newton step. If one neglects the backward error in the linear solve, then well-known convergence theory implies that using single precision in the linear solve has very little negative effect on the nonlinear convergence rate. However, if one considers the effects of backward error, then the usual textbook estimates are very pessimistic and even the state-of-the-art estimates using probabilistic rounding analysis do not fully conform to experiments. We report on experiments with a specific example. We store and factor Jacobians in double, single, and half precision. In the single precision case we observe that the convergence rates for the nonlinear iteration do not degrade as the dimension increases and that the nonlinear iteration statistics are essentially identical to the double precision computation. In half precision we see that the nonlinear convergence rates, while poor, do not degrade as the dimension increases.
登录
查看更多内容
影响因子：
1
作者：
T. Mullikin
通讯作者：
T. Mullikin
DOI：
10.2307/3613141
发表时间：
1960-01
期刊：
--
影响因子：
--
作者：
I. W. Busbridge
通讯作者：
I. W. Busbridge
拟牛顿方法的不准确性：局部改进定理
DOI：
--
发表时间：
1984
期刊：
影响因子：
--
作者：
J. Dennis;H. Walker
通讯作者：
H. Walker
使用 IEEE 浮点算法进行数值计算
DOI：
--
发表时间：
2001
期刊：
影响因子：
--
作者：
M. Overton
通讯作者：
M. Overton
DOI：
10.1137/19m1270434
发表时间：
2020
期刊：
SIAM journal on matrix analysis and applications : a publication of the Society for Industrial and Applied Mathematics
影响因子：
--
作者：
Ipsen ICF;Zhou H
通讯作者：
Zhou H