AMRIC: A Novel In Situ Lossy Compression Framework for Efficient I/O in Adaptive Mesh Refinement Applications
AMRIC: A Novel In Situ Lossy Compression Framework for Efficient I/O in Adaptive Mesh Refinement Applications
复制标题
AMRIC：一种新颖的原位有损压缩框架，可在自适应网格细化应用中实现高效 I/O
DOI：
10.1145/3581784.3613212
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Fang, Bo
中科院分区：
文献类型：
--
作者：
Wang, Daoce;Pulido, Jesus;Grosset, Pascal;Tian, Jiannan;Jin, Sian;Tang, Houjun;Sexton, Jean;Di, Sheng;Zhao, Kai;Fang, Bo
随着超级计算机向百亿亿级能力发展，计算强度显著增加，需要存储和传输的数据量呈指数级增长。自适应网格细化（AMR）已经成为解决这两个挑战的有效解决方案。同时，误差有界有损压缩被认为是解决后一个问题的最有效的方法之一。尽管它们各自有优势，但很少有人尝试研究AMR和误差受限有损压缩如何一起工作。为此，本研究提出了一种新的原位有损压缩框架，该框架采用HDF 5滤波器来改善AMR应用的I/O成本并提高压缩质量。我们将我们的解决方案实现到AMReX框架中，并在Summit超级计算机上对两个真实的AMR应用程序Nyx和WarpX进行评估。在4096个CPU核上的实验表明，AMRIC比AMReX的原始压缩解决方案提高了81倍的压缩比和39倍的I/O性能。
As supercomputers advance towards exascale capabilities, computational intensity increases significantly, and the volume of data requiring storage and transmission experiences exponential growth. Adaptive Mesh Refinement (AMR) has emerged as an effective solution to address these two challenges. Concurrently, error-bounded lossy compression is recognized as one of the most efficient approaches to tackle the latter issue. Despite their respective advantages, few attempts have been made to investigate how AMR and error-bounded lossy compression can function together. To this end, this study presents a novel in-situ lossy compression framework that employs the HDF5 filter to improve both I/O costs and boost compression quality for AMR applications. We implement our solution into the AMReX framework and evaluate on two real-world AMR applications, Nyx and WarpX, on the Summit supercomputer. Experiments with 4096 CPU cores demonstrate that AMRIC improves the compression ratio by up to 81× and the I/O performance by up to 39× over AMReX's original compression solution.
登录
查看更多内容
优化 GPU 上科学数据的误差有限有损压缩
DOI：
10.1109/cluster48925.2021.00047
发表时间：
2021
期刊：
2021 IEEE International Conference on Cluster Computing (CLUSTER 2021
影响因子：
--
作者：
Tian, Jiannan;Di, Sheng;Yu, Xiaodong;Rivera, Cody;Zhao, Kai;Jin, Sian;Feng, Yunhe;Liang, Xin;Tao, Dingwen;Cappello, Franck
通讯作者：
Cappello, Franck
前瞻：对于数据缩减至关重要的分析
DOI：
--
发表时间：
2020
期刊：
International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
Pascal Grosset;C. Biwer;Jesus Pulido;A. Mohan;Ayan Biswas;J. Patchett;Terece L. Turton;D. Rogers;D. Livescu;J. Ahrens
通讯作者：
J. Ahrens
对 AMR 网格可视化的两项新贡献： I. 超大规模二维网格的交互式渲染 II．
DOI：
--
发表时间：
2017
期刊：
arXiv.org
影响因子：
--
作者：
Guénolé Harel;Jacques;Philippe P. Pébaÿ
通讯作者：
Philippe P. Pébaÿ
通过细粒度速率-质量建模进行宇宙学模拟的原位有损压缩的自适应配置
DOI：
10.1145/3431379.3460653
发表时间：
2021
期刊：
The 30th ACM International Symposium on High-Performance Parallel and Distributed Computing (HPDC 2021
影响因子：
--
作者：
Jin, Sian;Pulido, Jesus;Grosset, Pascal;Tian, Jiannan;Tao, Dingwen;Ahrens, James
通讯作者：
Ahrens, James
表征存储故障对 HPC 应用程序的影响：方法和见解
DOI：
--
发表时间：
2021
期刊：
IEEE International Conference on Cluster Computing
影响因子：
--
作者：
Bo Fang;Daoce Wang;Sian Jin;Q. Koziol;Zhao Zhang;Qiang Guan;S. Byna;S. Krishnamoorthy;Dingwen Tao
通讯作者：
Dingwen Tao