Persistent Data Staging Services for Data Intensive In-situ Scientific Workflows
Persistent Data Staging Services for Data Intensive In-situ Scientific Workflows
复制标题
适用于数据密集型原位科学工作流程的持久数据暂存服务
DOI：
10.1145/2912152.2912157
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
Choi, Jong
中科院分区：
文献类型：
--
作者：
Romanus, Melissa;Klasky, Scott;Chang, Choong-Seock;Rodero, Ivan;Zhang, Fan;Jin, Tong;Sun, Qian;Bui, Hoang;Parashar, Manish;Choi, Jong
在超大规模计算系统上执行的科学模拟工作流是科学研究的基本模式。这些模拟的规模和分辨率的增加为精确模拟复杂的自然和工程现象提供了新的机会。然而，日益增加的复杂性需要管理、传输和处理前所未有的数据量，因此，研究人员越来越多地探索数据分段和原位工作流程，以减少数据移动和数据相关的开销。然而，随着这些工作流在结构和行为上变得更加动态，数据分级和就地解决方案必须发展以支持新的需求。在本文中，我们探讨了如何将面向服务的概念应用于极端规模的现场工作流。具体地说，我们将探索作为服务的持久数据登台，并介绍datasespaces as a service（一个面向服务的数据登台框架）的设计和实现。我们使用动态耦合融合仿真工作流来说明该框架的功能，并评估其性能和可扩展性。
Scientific simulation workflows executing on very large scale computing systems are essential modalities for scientific investigation. The increasing scales and resolution of these simulations provide new opportunities for accurately modeling complex natural and engineered phenomena. However, the increasing complexity necessitates managing, transporting, and processing unprecedented amounts of data, and as a result, researchers are increasingly exploring data-staging and in-situ workflows to reduce data movement and data-related overheads. However, as these workflows become more dynamic in their structures and behaviors, data staging andin-situsolutions must evolve to support new requirements.In this paper, we explore how the service-oriented concept can be applied to extreme-scale in-situ workflows. Specifically, we explore persistent data staging as a service and present the design and implementation of DataSpaces as a Service, a service-oriented data staging framework. We use a dynamically coupled fusion simulation workflow to illustrate the capabilities of this framework and evaluate its performance and scalability.
登录
查看更多内容
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
通讯作者：
--
DOI：
10.1109/ldav.2011.6092178
发表时间：
2011-12
期刊：
2011 IEEE Symposium on Large Data Analysis and Visualization
影响因子：
--
作者：
V. Vishwanath;M. Hereld;M. Papka
通讯作者：
V. Vishwanath;M. Hereld;M. Papka
使用 IOFSL 桥接 HPC 和网格文件 I/O
DOI：
--
发表时间：
2010
期刊：
Workshop on Applied Parallel Computin
影响因子：
--
作者：
Jason Cope;K. Iskra;D. Kimpe;R. Ross
通讯作者：
R. Ross
DOI：
10.1007/s10586-011-0162-y
发表时间：
2012-06-01
影响因子：
4.4
作者：
Docan, Ciprian;Parashar, Manish;Klasky, Scott
通讯作者：
Klasky, Scott
DOI：
10.1007/s10586-010-0135-6
发表时间：
2009-06
期刊：
Cluster Computing
影响因子：
--
作者：
H. Abbasi;M. Wolf;G. Eisenhauer;S. Klasky;K. Schwan;F. Zheng
通讯作者：
H. Abbasi;M. Wolf;G. Eisenhauer;S. Klasky;K. Schwan;F. Zheng