Dynamic Selective Protection of Sparse Iterative Solvers via ML Prediction of Soft Error Impacts
Dynamic Selective Protection of Sparse Iterative Solvers via ML Prediction of Soft Error Impacts
复制标题
通过软错误影响的机器学习预测对稀疏迭代求解器进行动态选择性保护
DOI：
10.1145/3624062.3624117
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Raghavan, Padma
中科院分区：
文献类型：
--
作者：
Chen, Zizhao;Verrecchia, Thomas;Sun, Hongyang;Booth, Joshua;Raghavan, Padma
随着高性能计算系统规模和复杂性的不断增大，软错误在大型计算平台上频繁发生。各种弹性技术（例如，检查点设置、ABFT和复制）来保护科学应用程序免受不同级别的软错误的影响。其中，系统级复制往往涉及整个计算的重复甚至三重，从而导致高弹性开销。本文提出了动态选择性保护稀疏迭代求解器，特别是预处理共轭梯度（PCG）求解器，在系统级，以减少弹性开销。对于这种方法，我们利用机器学习（ML）来预测软错误对关键计算的不同元素的影响（即，稀疏矩阵-向量乘法）。基于预测的结果，我们设计了一个动态的策略来选择性地保护那些元素，如果受到软错误的打击，将导致大的性能下降。实验评估表明，我们的动态保护策略是能够减少弹性开销相比，现有的算法。
Soft errors occur frequently on large computing platforms due to the increasing scale and complexity of HPC systems. Various resilience techniques (e.g., checkpointing, ABFT, and replication) have been proposed to protect scientific applications from soft errors at different levels. Among them, system-level replication often involves duplicating or even triplicating the entire computation, thus resulting in high resilience overhead. This paper proposes dynamic selective protection for sparse iterative solvers, in particular for the Preconditioned Conjugate Gradient (PCG) solver, at the system level to reduce the resilience overhead. For this method, we leverage machine learning (ML) to predict the impact of soft errors that strike different elements of a key computation (i.e., sparse matrix-vector multiplication) at different iterations of the solver. Based on the result of the prediction, we design a dynamic strategy to selectively protect those elements that would result in a large performance degradation if struck by soft errors. An experimental evaluation demonstrates that our dynamic protection strategy is able to reduce the resilience overhead compared to existing algorithms.
登录
查看更多内容
DOI：
10.1109/dsn.2012.6263938
发表时间：
2012
期刊：
IEEE/IFIP International Conference on Dependable Systems and Networks (DSN 2012)
影响因子：
--
作者：
Joseph Sloan;Rakesh Kumar;G. Bronevetsky
通讯作者：
G. Bronevetsky
选择性保护稀疏迭代求解器以减少弹性开销
DOI：
--
发表时间：
2020
期刊：
Symposium on Computer Architecture and High Performance Computing
影响因子：
--
作者：
Hongyang Sun;Ana Gainaru;Manu Shantharam;P. Raghavan
通讯作者：
P. Raghavan
New-Sum：一种新颖的通用迭代方法在线 ABFT 方案
DOI：
--
发表时间：
2016
期刊：
IEEE International Symposium on High-Performance Parallel Distributed Computing
影响因子：
--
作者：
Dingwen Tao;S. Song;S. Krishnamoorthy;Panruo Wu;Xin Liang;E. Zhang;D. Kerbyson;Zizhong Chen
通讯作者：
Zizhong Chen
DOI：
10.14529/jsfi140101
发表时间：
2014-04
期刊：
Supercomput. Front. Innov.
影响因子：
--
作者：
F. Cappello;A. Geist;W. Gropp;Sanjay Kale;B. Kramer;M. Snir
通讯作者：
F. Cappello;A. Geist;W. Gropp;Sanjay Kale;B. Kramer;M. Snir
DOI：
10.1137/1.9780898718003
发表时间：
2003-05
期刊：
--
影响因子：
--
作者：
Y. Saad
通讯作者：
Y. Saad