Highly Interactive, Steered Scientific Workflows on HPC Systems: Optimizing Design Solutions
Highly Interactive, Steered Scientific Workflows on HPC Systems: Optimizing Design Solutions
复制标题
HPC 系统上高度交互、可控的科学工作流程：优化设计解决方案
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Jeremy C. Smith
中科院分区：
文献类型：
--
作者：
John R. Ossyra;A. Sedova;Matthew B. Baker;Jeremy C. Smith
科学工作流在高性能计算（HPC）环境中变得越来越重要，因为许多同时异构任务的可行性和吸引力随着硬件能力的增加而增加。目前，没有基于HPC的工作流平台支持在运行时具有交互式转向和分析的动态自适应工作流。此外，对于大多数工作流程序，计算资源对于给定实例是固定的，这导致在任务产生和终止时可能浪费昂贵的分配资源。在这里，我们描述的设计和测试的运行时交互式的，适应性强，转向工作流工具，能够执行数千个并行任务，而无需MPI编程模型，使用数据库管理系统，以促进任务管理，通过多个活连接。我们发现，在橡树岭领导力计算设施前exascale峰会超级计算机上，可以启动和交互式地引导工作流，同时执行数千个任务，延迟可以忽略不计。对于运行数分钟到数小时的粒子模拟和分析任务的情况下，这种范例提供了一个强大的和有效的手段来执行模拟空间探索与飞行中的分析和适应的前景。
Scientific workflows are becoming increasingly important in high performance computing (HPC) settings, as the feasibility and appeal of many simultaneous heterogeneous tasks increases with increasing hardware capabilities. Currently no HPC-based workflow platform supports a dynamically adaptable workflow with interactive steering and analysis at run-time. Furthermore, for most workflow programs, compute resources are fixed for a given instance, resulting in a possible waste of expensive allocation resources when tasks are spawned and killed. Here we describe the design and testing of a run-time-interactive, adaptable, steered workflow tool capable of executing thousands of parallel tasks without an MPI programming model, using a database management system to facilitate task management through multiple live connections. We find that on the Oak Ridge Leadership Computing Facility pre-exascale Summit supercomputer it is possible to launch and interactively steer workflows with thousands of simultaneous tasks with negligible latency. For the case of particle simulation and analysis tasks that run for minutes to hours, this paradigm offers the prospect of a robust and efficient means to perform simulation-space exploration with on-the-fly analysis and adaptation.
影响因子：
3
作者：
Bernardi, Rafael C.;Melo, Marcelo C. R.;Schulten, Klaus
通讯作者：
Schulten, Klaus
影响因子：
4.4
作者：
Prinz, Jan-Hendrik;Wu, Hao;Noe, Frank
通讯作者：
Noe, Frank
将自适应集成分子动力学工作流程移植到 Summit 超级计算机
DOI：
10.1007/978-3-030-34356-9_30
发表时间：
2019
期刊：
Proceedings International Conference on High Performance Computing
影响因子：
--
作者：
John Ossyra, Ada Sedova
通讯作者：
John Ossyra, Ada Sedova