Towards Interactive, Reproducible Analytics at Scale on HPC Systems
Towards Interactive, Reproducible Analytics at Scale on HPC Systems
复制标题
在 HPC 系统上实现大规模交互式、可重复分析
DOI：
10.1109/urgenthpc51945.2020.00011
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Ramakrishnan, Lavanya
中科院分区：
文献类型：
--
作者：
Cholia, Shreyas;Heagy, Lindsey;Henderson, Matthew;Paine, Drew;Hays, Jon;Bianchi, Ludovico;Ghoshal, Devarshi;Perez, Fernando;Ramakrishnan, Lavanya
科学数据量的增长导致需要使用高性能计算（HPC）系统来扩展处理和分析管道。这些工作流程需要大规模的交互式、可重复的分析。Cyberyter平台提供了交互性的核心功能，但不是为HPC系统设计的。在本文中，我们概述了我们的努力，汇集了核心技术的基础上，Xueyter平台，以创建交互式，可复制的分析在HPC系统的规模。我们的工作是基于一个真实的世界科学用例-应用地球物理模拟和反演成像的地下。我们的核心平台解决了科学分析工作流程的三个关键领域-可重复性，可扩展性和交互性。我们描述了我们的实现系统，使用绑定器，科学胶囊，和Dask软件。我们演示了如何使用该软件来运行我们的用例，并以交互方式可视化HDF 5数据的实时流。
The growth in scientific data volumes has resulted in a need to scale up processing and analysis pipelines using High Performance Computing (HPC) systems. These workflows need interactive, reproducible analytics at scale. The Jupyter platform provides core capabilities for interactivity but was not designed for HPC systems. In this paper, we outline our efforts that bring together core technologies based on the Jupyter Platform to create interactive, reproducible analytics at scale on HPC systems. Our work is grounded in a real world science use case - applying geophysical simulations and inversions for imaging the subsurface. Our core platform addresses three key areas of the scientific analysis workflow - reproducibility, scalability, and interactivity. We describe our implemention of a system, using Binder, Science Capsule, and Dask software. We demonstrate the use of this software to run our use case and interactively visualize real-time streams of HDF5 data.
登录
查看更多内容
管理 GitHub 存储库上的更大数据
影响因子：
--
作者：
C. Boettiger
通讯作者：
C. Boettiger
龙卷风简介
DOI：
--
发表时间：
2012
期刊：
影响因子：
--
作者：
Wenjun Zheng;Sichao Hou;M. Su
通讯作者：
M. Su
DataONE：地球数据观测网络 - 保存数据并实现生物和环境科学的创新
DOI：
10.1045/january2011-michener
发表时间：
2011
期刊：
D Lib Mag.
影响因子：
--
作者：
W. Michener;D. Vieglais;T. Vision;J. Kunze;P. Cruse;G. Janée
通讯作者：
G. Janée
PopperCI：自动再现性验证
DOI：
--
发表时间：
2017
期刊：
Conference on Computer Communications Workshops
影响因子：
--
作者：
I. Jimenez;Andrea C. Arpaci;Remzi H. Arpaci;J. Lofstead;C. Maltzahn;K. Mohror;R. Ricci
通讯作者：
R. Ricci
使用 Jupyter 和 NERSC HPC 加速实验科学
DOI：
10.1007/978-3-030-44728-1_9
发表时间：
2019
期刊：
Journal of Physics: Materials
影响因子：
--
作者：
Matthew L. Henderson;William Krinsman;S. Cholia;R. Thomas;T. Slaton
通讯作者：
T. Slaton