Delay sensitivity-driven congestion mitigation for HPC systems
Delay sensitivity-driven congestion mitigation for HPC systems
复制标题
HPC 系统的延迟敏感度驱动的拥塞缓解
DOI：
10.1145/3447818.3460362
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Iyer, Ravishankar K.
中科院分区：
文献类型：
--
作者：
Patke, Archit;Jha, Saurabh;Qiu, Haoran;Brandt, Jim;Gentile, Ann;Greenseid, Joe;Kalbarczyk, Zbigniew;Iyer, Ravishankar K.
现代高性能计算（HPC）系统并发地执行多个分布式应用，这些应用争用高速网络导致拥塞。因此，在生产系统中观察到应用程序运行时的可变性和次优的系统利用率。为了解决这些问题，我们提出了Netscope，一个拥塞缓解框架的基础上一种新的延迟敏感性度量。应用程序的延迟敏感度用于量化拥塞对其运行时的影响。Netscope使用延迟敏感度估计来驱动拥塞缓解机制，以选择性地抑制不易受拥塞影响的应用程序。我们评估Netscope的两个Cray白羊座系统，包括生产超级计算机，在共同的科学应用。我们的评估表明，Netscope具有较低的训练成本，并准确地估计拥塞对应用程序运行时的影响，相关性在0.7和0.9之间。此外，Netscope将应用程序尾部运行时间的增加减少了16.3倍，同时将中值系统实用性提高了12%。
Modern high-performance computing (HPC) systems concurrently execute multiple distributed applications that contend for the high-speed network leading to congestion. Consequently, application runtime variability and suboptimal system utilization are observed in production systems. To address these problems, we propose Netscope, a congestion mitigation framework based on a novel delay sensitivity metric. Delay sensitivity of an application is used to quantify the impact of congestion on its runtime. Netscope uses delay sensitivity estimates to drive a congestion mitigation mechanism to selectively throttle applications that are less susceptible to congestion. We evaluate Netscope on two Cray Aries systems, including a production supercomputer, on common scientific applications. Our evaluation shows that Netscope has a low training cost and accurately estimates the impact of congestion on application runtime with a correlation between 0.7 and 0.9. Moreover, Netscope reduces application tail runtime increase by up to 16.3x while improving the median system utility by 12%.
登录
查看更多内容
通过应用感知路由减轻 Dragonfly 网络上的网络噪声
DOI：
10.1145/3295500.3356196
发表时间：
2019
期刊：
Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
D. D. Sensi;S. D. Girolamo;T. Hoefler
通讯作者：
T. Hoefler
DOI：
10.1109/ipdps.2015.92
发表时间：
2015-05
期刊：
2015 IEEE International Parallel and Distributed Processing Symposium
影响因子：
--
作者：
A. Bhatele;Andrew R. Titus;Jayaraman J. Thiagarajan;Nikhil Jain;T. Gamblin;P. Bremer;M. Schulz;L. Kalé
通讯作者：
A. Bhatele;Andrew R. Titus;Jayaraman J. Thiagarajan;Nikhil Jain;T. Gamblin;P. Bremer;M. Schulz;L. Kalé
DOI：
--
发表时间：
2020
期刊：
International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
D. D. Sensi;S. D. Girolamo;K. McMahon;D. Roweth;T. Hoefler
通讯作者：
T. Hoefler
基于 Dragonfly 的系统的性能变化案例
DOI：
10.1109/ipdps47924.2020.00096
发表时间：
2020
期刊：
2020 IEEE International Parallel and Distributed Processing Symposium (IPDPS)
影响因子：
--
作者：
A. Bhatele;Jayaraman J. Thiagarajan;Taylor L. Groves;Rushil Anirudh;Staci A. Smith;B. Cook;D. Lowenthal
通讯作者：
D. Lowenthal
DOI：
10.1145/2807591.2807600
发表时间：
2015-11
期刊：
SC15: International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
Nan Jiang;Larry R. Dennison;W. Dally
通讯作者：
Nan Jiang;Larry R. Dennison;W. Dally