OptZConfig: Efficient Parallel Optimization of Lossy Compression Configuration
OptZConfig: Efficient Parallel Optimization of Lossy Compression Configuration
复制标题
OptZConfig：有损压缩配置的高效并行优化
DOI：
10.1109/tpds.2022.3154096
复制
发表时间：
2022
影响因子：
5.3
通讯作者：
Cappello, Franck
中科院分区：
文献类型：
--
作者：
Underwood, Robert;Calhoun, Jon C;Di, Sheng;Apon, Amy;Cappello, Franck
无损压缩器的压缩比非常低，不能满足当今产生海量数据的大规模科学应用的需要。误差有界有损压缩(EBLC)被认为是科学研究成功的关键技术。虽然EBLC允许用户设置压缩的误差界，但用户一直无法指定对压缩质量的要求，限制了实际应用。我们的贡献是：(1)将配置EBLC以保持用户定义的度量的问题描述为一个优化问题。这允许保留许多类别的新指标，这改进了当前的实践。(2)提出了一个框架OptZConfig，该框架能够以最小的变化适应搜索算法、压缩器和度量的改进，从而支持该领域的未来发展。(3)与配置压缩器以保存特定度量的主流方法相比，我们展示了我们的方法的优势。与专用压缩器相比，我们的方法将压缩比提高了高达56倍，在MGARD-QOI后调优上有56倍的加速比，在MGARD-QOI后调优上有1000倍的加速比，在以前没有压缩器限制的系统方法上有110倍的加速比。
Lossless compressors have very low compression ratios that do not meet the needs of today’s large-scale scientific applications that produce vast volumes of data. Error-bounded lossy compression (EBLC) is considered a critical technique for the success of scientific research. Although EBLC allows users to set an error bound for the compression, users have been unable to specify the requirements on the compression quality, limiting practical use. Our contributions are: (1) We formulate the problem of configuring EBLC to preserve a user-defined metric as an optimization problem. This allows many classes of new metrics to be preserved, which improves over current practices. (2) We present a framework, OptZConfig, that can adapt to improvements in the search algorithm, compressor, and metrics with minimal changes, enabling future advancements in this area. (3) We demonstrate the advantages of our approach against the leading methods to configure compressors to preserve specific metrics. Our approach improves compression ratios against a specialized compressor by up to, has a 56× speedup over FRaZ, 1000× speedup over MGARD-QOI post tuning, and 110× speedup over systematic approaches which had not been bounded by compressors before.
登录
查看更多内容
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
Michajlo P. Matijkiw;Milo M. K. Martin
通讯作者：
Milo M. K. Martin
迭代方法中浮点数据内联 ZFP 压缩的稳定性分析
DOI：
10.1137/19m126904
发表时间：
2020
期刊：
ArXiv
影响因子：
--
作者：
Alyson Fox;James Diffenderfer;J. Hittinger;G. Sanders;Peter Lindstrom
通讯作者：
Peter Lindstrom
迈向多方法：气候模拟数据的有损数据压缩
DOI：
--
发表时间：
2017
期刊：
ISC Workshops
影响因子：
--
作者：
A. Baker;Haiying Xu;D. Hammerling;Shaomeng Li;J. Clyne
通讯作者：
J. Clyne
AEQUITAS：跨并行应用程序的协调能源管理
DOI：
--
发表时间：
2016
期刊：
International Conference on Supercomputing
影响因子：
--
作者：
Haris Ribic;Yu David Liu
通讯作者：
Yu David Liu
科学数据压缩和缩减的多级技术——导出量精度的定量控制
影响因子：
3.1
作者：
M. Ainsworth;O. Tugluk;Ben Whitney;S. Klasky
通讯作者：
S. Klasky