Design and Performance Characterization of RADICAL-Pilot on Leadership-Class Platforms
Design and Performance Characterization of RADICAL-Pilot on Leadership-Class Platforms
复制标题
领先级平台上 RADICAL-Pilot 的设计和性能表征
DOI：
10.1109/tpds.2021.3105994
复制
发表时间：
2022
影响因子：
5.3
通讯作者：
Jha, Shantenu
中科院分区：
文献类型：
--
作者：
Merzky, Andre;Turilli, Matteo;Titov, Mikhail;Al-Saadi, Aymen;Jha, Shantenu
许多极端规模的科学应用程序的工作负载由大量单独的高性能任务组成。Pilot抽象通过作业占位符和后期绑定来简化工作负载规范、资源管理和任务执行。因此，Pilot抽象的适当实现可以支持在超级计算机上集体执行大量任务。我们介绍了一个可移植的，模块化的和可扩展的试点启用运行时系统的RADICAL-Pilot（RP）。我们描述RP的设计，架构和实施。我们描述了它的性能，并展示了它在DOE和NSF领导级HPC平台上可扩展地执行由数万个异构任务组成的工作负载的能力。具体来说，我们调查RP的弱/强缩放与CPU/GPU，单核/多核，（非）MPI任务和Python函数时，使用大多数ORNL峰会和TACC Frontera。RADICAL-Pilot可以独立使用，也可以作为第三方工作流系统的运行时使用。
Many extreme scale scientific applications have workloads comprised of a large number of individual high-performance tasks. The Pilot abstraction decouples workload specification, resource management, and task execution via job placeholders and late-binding. As such, suitable implementations of the Pilot abstraction can support the collective execution of large number of tasks on supercomputers. We introduce RADICAL-Pilot (RP) as a portable, modular and extensible pilot-enabled runtime system. We describe RP's design, architecture and implementation. We characterize its performance and show its ability to scalably execute workloads comprised of tens of thousands heterogeneous tasks on DOE and NSF leadership-class HPC platforms. Specifically, we investigate RP's weak/strong scaling with CPU/GPU, single/multi core, (non)MPI tasks and Python functions when using most of ORNL Summit and TACC Frontera. RADICAL-Pilot can be used stand-alone, as well as the runtime for third-party workflow systems.
登录
查看更多内容
工作过
DOI：
10.1007/978-3-030-58292-0_230152
发表时间：
2021
期刊：
Encyclopedic Dictionary of Archaeology
影响因子：
--
作者：
S. Simmerman;J. Osborne;Jian Huang
通讯作者：
Jian Huang
试点工厂——基于 Condor 的系统，用于在 Panda WMS 框架中生成可扩展的试点作业
DOI：
10.1088/1742-6596/219/6/062041
发表时间：
2010
期刊：
Journal of Physics: Conference Series
影响因子：
--
作者：
Po;M. Potekhin
通讯作者：
M. Potekhin
工作队列 + Python：可扩展科学集成应用程序的框架
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
Peter Bui;D. Rajan;Badi Abdul;J. Izaguirre;D. Thain
通讯作者：
D. Thain
Flux：大型 HPC 中心的下一代资源管理框架
DOI：
10.1109/icppw.2014.15
发表时间：
2014
期刊：
2014 43rd International Conference on Parallel Processing Workshops
影响因子：
--
作者：
D. Ahn;J. Garlick;Mark Grondona;D. Lipari;B. Springmeyer;M. Schulz
通讯作者：
M. Schulz
Synapse：综合应用程序分析器和模拟器
DOI：
10.1016/j.jocs.2018.06.012
发表时间：
2015
期刊：
2016 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW)
影响因子：
--
作者：
André Merzky;S. Jha
通讯作者：
S. Jha