X-composer: enabling cross-environments in-situ workflows between HPC and cloud
X-composer: enabling cross-environments in-situ workflows between HPC and cloud
复制标题
X-composer：支持 HPC 和云之间的跨环境现场工作流程
DOI：
10.1145/3468267.3470621
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Song, Fengguang
中科院分区：
文献类型：
--
作者：
Li, Feng;Wang, Dali;Yan, Feng;Song, Fengguang
随着大规模科学模拟和大数据分析变得越来越流行，存储大量原始模拟结果以进行后期分析的成本越来越高。为了最大限度地减少昂贵的数据 I/O，“原位”分析是一种很有前途的方法，其中数据分析应用程序动态分析模拟生成的数据，而无需先存储数据。然而，由于软件和硬件的明显差异，在两个语义不同的生态系统之间大规模组织、转换和传输数据具有挑战性。为了应对这些挑战，我们设计并实现了 X-Composer 框架。 X-Composer连接跨生态系统应用程序以形成“原位”科学工作流程，并提供统一的方法和配方来支持分布式异构资源上的这种混合原位工作流程。 X-Composer 将模拟数据重新组织为连续数据流，并将它们无缝地输入到基于云的流处理服务中，以最大限度地减少 I/O 开销。为了进行评估，我们使用 X-Composer 来设置和执行跨生态系统工作流程，其中包括在 HPC 上运行的并行计算流体动力学模拟和在云上运行的分布式动态模式分解分析应用程序。我们的实验结果表明，X-Composer 可以在自己的本机环境中无缝耦合 HPC 和大数据作业，实现良好的可扩展性，并为正在进行的实时模拟提供高保真分析。
As large-scale scientific simulations and big data analyses become more popular, it is increasingly more expensive to store huge amounts of raw simulation results to perform post-analysis. To minimize the expensive data I/O, "in-situ" analysis is a promising approach, where data analysis applications analyze the simulation generated data on the fly without storing it first. However, it is challenging to organize, transform, and transport data at scales between two semantically different ecosystems due to the distinct software and hardware difference. To tackle these challenges, we design and implement the X-Composer framework. X-Composer connects cross-ecosystem applications to form an "in-situ" scientific workflow, and provides a unified approach and recipe for supporting such hybrid in-situ workflows on distributed heterogeneous resources. X-Composer reorganizes simulation data as continuous data streams and feeds them seamlessly into the Cloud-based stream processing services to minimize I/O overheads. For evaluation, we use X-Composer to set up and execute a cross-ecosystem workflow, which consists of a parallel Computational Fluid Dynamics simulation running on HPC, and a distributed Dynamic Mode Decomposition analysis application running on Cloud. Our experimental results show that X-Composer can seamlessly couple HPC and Big Data jobs in their own native environments, achieve good scalability, and provide high-fidelity analytics for ongoing simulations in real-time.
登录
查看更多内容
DOI：
--
发表时间：
2019
期刊：
Computing in science & engineering (Print)
影响因子：
--
作者：
Orcun Yildiz;J. Ejarque;Henry Chan;S. Sankaranarayanan;R. Badia;T. Peterka
通讯作者：
T. Peterka
DOI：
10.1007/s10586-011-0162-y
发表时间：
2012-06-01
影响因子：
4.4
作者：
Docan, Ciprian;Parashar, Manish;Klasky, Scott
通讯作者：
Klasky, Scott
Decaf：用于现场高性能工作流程的解耦数据流
DOI：
--
发表时间：
2017
期刊：
影响因子：
--
作者：
Matthieu Dreher;T. Peterka
通讯作者：
T. Peterka
DOI：
10.1177/1094342020935991
发表时间：
2020
期刊：
The International Journal of High Performance Computing Applications
影响因子：
--
作者：
Childs, Hank;Ahern, Sean D.;Ahrens, James;Bauer, Andrew C.;Bennett, Janine;Bethel, E. Wes;Bremer, Peer-Timo;Brugger, Eric;Cottam, Joseph;Dorier, Matthieu
通讯作者：
Dorier, Matthieu
BeeFlow：跨 HPC 和云系统进行原位处理的工作流管理系统
DOI：
--
发表时间：
2018
期刊：
IEEE International Conference on Distributed Computing Systems
影响因子：
--
作者：
Jieyang Chen;Qiang Guan;Zhao Zhang;Xin Liang;L. Vernon;A. McPherson;Li;Patricia A. Grubel;Timothy Randles;Zizhong Chen;J. Ahrens
通讯作者：
J. Ahrens