Understanding GPU-Based Lossy Compression for Extreme-Scale Cosmological Simulations
Understanding GPU-Based Lossy Compression for Extreme-Scale Cosmological Simulations
复制标题
了解用于超大规模宇宙学模拟的基于 GPU 的有损压缩
DOI：
10.1109/ipdps47924.2020.00021
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Ahrens, James
中科院分区：
文献类型：
--
作者：
Jin, Sian;Grosset, Pascal;Biwer, Christopher;Pulido, Jesus;Tian, Jiannan;Tao, Dingwen;Ahrens, James
为了更好地理解我们的宇宙，研究人员和科学家们目前在超级计算机上进行了极端尺度的宇宙学模拟。然而，这样的模拟会产生大量的科学数据，这通常会导致与数据移动和存储相关的昂贵数据成本。有损压缩技术已经变得有吸引力，因为它们显著地减少了数据大小，并且可以为后期分析保持高数据保真度。在本文中，我们建议使用基于gpu的有损压缩来进行极端尺度的宇宙学模拟。我们的贡献有三个方面：(1)我们在我们的开源压缩基准和分析框架Foresight中实现了多个基于gpu的有损压缩器；(2)基于一系列评估指标，利用Foresight综合评估了gpu有损压缩在HACC和Nyx两个现实世界极端尺度宇宙学模拟中的实用性；(3)针对不同的有损压缩器和宇宙学模拟，我们制定了一个通用的优化准则来确定最适合的配置。实验表明，基于gpu的有损压缩可以为宇宙学模拟的后期分析提供必要的精度，对测试数据集的压缩比高达5 ~ 15倍，压缩和解压缩吞吐量远高于基于cpu的压缩器。
To help understand our universe better, researchers and scientists currently run extreme-scale cosmology simulations on leadership supercomputers. However, such simulations can generate large amounts of scientific data, which often result in expensive costs in data associated with data movement and storage. Lossy compression techniques have become attractive because they significantly reduce data size and can maintain high data fidelity for post-analysis. In this paper, we propose to use GPU-based lossy compression for extreme-scale cosmological simulations. Our contributions are threefold: (1) we implement multiple GPU-based lossy compressors to our open-source compression benchmark and analysis framework named Foresight; (2) we use Foresight to comprehensively evaluate the practicality of using GPU-based lossy compression on two real-world extreme-scale cosmology simulations, namely HACC and Nyx, based on a series of assessment metrics; and (3) we develop a general optimization guideline on how to determine the best-fit configurations for different lossy compressors and cosmological simulations. Experiments show that GPU-based lossy compression can provide necessary accuracy on post-analysis for cosmological simulations and high compression ratio of 5 ~ 15× on the tested datasets, as well as much higher compression and decompression throughput than CPU-based compressors.
登录
查看更多内容
深入探索 N 体模拟的单快照有损压缩技术
DOI：
--
发表时间：
2017
期刊：
2017 IEEE International Conference on Big Data (Big Data)
影响因子：
--
作者：
Dingwen Tao;S. Di;Zizhong Chen;F. Cappello
通讯作者：
F. Cappello
宇宙学模拟数据集有损压缩模式匹配技术的探索
DOI：
10.1007/978-3-319-67630-2_4
发表时间：
2017
期刊：
2018 IEEE International Conference on Cluster Computing (CLUSTER)
影响因子：
--
作者：
Dingwen Tao;S. Di;Zizhong Chen;F. Cappello
通讯作者：
F. Cappello
生产领先级存储系统中用户感知 I/O 性能的综合测量和分析
DOI：
--
发表时间：
2017
期刊：
IEEE International Conference on Distributed Computing Systems
影响因子：
--
作者：
Lipeng Wan;M. Wolf;Feiyi Wang;J. Choi;G. Ostrouchov;S. Klasky
通讯作者：
S. Klasky
使用相邻快照优化 N 体仿真数据的有损压缩
DOI：
10.1109/bigdata.2018.8622101
发表时间：
2018
期刊：
2018 IEEE International Conference on Big Data (Big Data)
影响因子：
--
作者：
Sihuan Li;S. Di;Xin Liang;Zizhong Chen;F. Cappello
通讯作者：
F. Cappello
DOI：
10.1109/ipdps.2018.00044
发表时间：
2018-05
期刊：
2018 IEEE International Parallel and Distributed Processing Symposium (IPDPS)
影响因子：
--
作者：
Tao Lu;Qing Liu;Xubin He;Huizhang Luo;E. Suchyta;J. Choi;N. Podhorszki;S. Klasky;M. Wolf;Tong Liu;Zhenbo Qiao
通讯作者：
Tao Lu;Qing Liu;Xubin He;Huizhang Luo;E. Suchyta;J. Choi;N. Podhorszki;S. Klasky;M. Wolf;Tong Liu;Zhenbo Qiao