GPULZ: Optimizing LZSS Lossless Compression for Multi-byte Data on Modern GPUs
GPULZ: Optimizing LZSS Lossless Compression for Multi-byte Data on Modern GPUs
复制标题
GPULZ：在现代 GPU 上优化多字节数据的 LZSS 无损压缩
DOI：
10.1145/3577193.3593706
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Cappello, Franck
中科院分区：
文献类型：
--
作者：
Zhang, Boyuan;Tian, Jiannan;Di, Sheng;Yu, Xiaodong;Swany, Martin;Tao, Dingwen;Cappello, Franck
当今的图形处理单元（GPU）应用程序产生大量数据，这些数据的高效存储和传输具有挑战性。因此，数据压缩正成为减轻存储负担和通信成本的关键技术。LZSS算法是Deflate等压缩器的核心算法。然而，现有的基于GPU的LZSS压缩器由于LZSS算法的顺序性质而遭受低吞吐量。此外，许多GPU应用程序产生多字节数据（例如，int 16/int 32索引，浮点数），而当前的LZSS压缩仅采用单字节数据作为输入。为此，在这项工作中，我们提出了gpuLZ，一种在现代GPU上用于多字节数据的高效LZSS压缩。我们的工作有四个方面的贡献：首先，我们对现有的GPU LZ压缩器进行了深入的分析，并调查了它们的主要问题。然后，我们提出了两个主要的算法级优化。具体而言，我们（1）将前缀和从一个通道改为两个通道，并融合多个内核，以减少共享内存和全局内存之间的数据移动，以及（2）优化现有的多字节符号的模式匹配方法，以降低计算复杂度，并探索更长的重复模式。第三，我们执行架构性能优化，例如通过使数据分区适应不同的GPU架构来最大化共享内存利用率。最后，我们使用NVIDIA A100和A4000 GPU在六个不同类型的数据集上评估了gpuLZ。结果表明，与最先进的解决方案相比，gpuLZ在A4000上实现了高达272.1倍的加速比和高达1.4倍的压缩比。
Today's graphics processing unit (GPU) applications produce vast volumes of data, which are challenging to store and transfer efficiently. Thus, data compression is becoming a critical technique to mitigate the storage burden and communication cost. LZSS is the core algorithm in many widely used compressors, such as Deflate. However, existing GPU-based LZSS compressors suffer from low throughput due to the sequential nature of the LZSS algorithm. Moreover, many GPU applications produce multi-byte data (e.g., int16/int32 index, floating-point numbers), while the current LZSS compression only takes single-byte data as input. To this end, in this work, we propose gpuLZ, a highly efficient LZSS compression on modern GPUs for multi-byte data. The contribution of our work is fourfold: First, we perform an in-depth analysis of existing LZ compressors for GPUs and investigate their main issues. Then, we propose two main algorithm-level optimizations. Specifically, we (1) change prefix sum from one pass to two passes and fuse multiple kernels to reduce data movement between shared memory and global memory, and (2) optimize existing pattern-matching approach for multi-byte symbols to reduce computation complexity and explore longer repeated patterns. Third, we perform architectural performance optimizations, such as maximizing shared memory utilization by adapting data partitions to different GPU architectures. Finally, we evaluate gpuLZ on six datasets of various types with NVIDIA A100 and A4000 GPUs. Results show that gpuLZ achieves up to 272.1× speedup on A4000 and up to 1.4× higher compression ratio compared to state-of-the-art solutions.
登录
查看更多内容
适用于 CPU 架构的高效错误限制有损压缩
DOI：
10.1109/mascots56607.2022.00020
发表时间：
2022
期刊：
and Simulation of Computer and Telecommunication Systems (MASCOTS
影响因子：
--
作者：
Dube, Griffin;Tian, Jiannan;Di, Sheng;Tao, Dingwen;Calhoun, Jon C.;Cappello, Franck
通讯作者：
Cappello, Franck
“大红”
DOI：
--
发表时间：
2019
期刊：
IIC - International Review of Intellectual Property and Competition Law
影响因子：
--
作者：
Arts. 4 18 20 Mr. Carey v. Mediaset S.p.a. et al. Copyright Act
通讯作者：
Arts. 4 18 20 Mr. Carey v. Mediaset S.p.a. et al. Copyright Act
优化 GPU 上科学数据的误差有限有损压缩
DOI：
10.1109/cluster48925.2021.00047
发表时间：
2021
期刊：
2021 IEEE International Conference on Cluster Computing (CLUSTER 2021
影响因子：
--
作者：
Tian, Jiannan;Di, Sheng;Yu, Xiaodong;Rivera, Cody;Zhao, Kai;Jin, Sian;Feng, Yunhe;Liang, Xin;Tao, Dingwen;Cappello, Franck
通讯作者：
Cappello, Franck
DOI：
10.1109/ipdps.2018.00044
发表时间：
2018-05
期刊：
2018 IEEE International Parallel and Distributed Processing Symposium (IPDPS)
影响因子：
--
作者：
Tao Lu;Qing Liu;Xubin He;Huizhang Luo;E. Suchyta;J. Choi;N. Podhorszki;S. Klasky;M. Wolf;Tong Liu;Zhenbo Qiao
通讯作者：
Tao Lu;Qing Liu;Xubin He;Huizhang Luo;E. Suchyta;J. Choi;N. Podhorszki;S. Klasky;M. Wolf;Tong Liu;Zhenbo Qiao
DOI：
10.1109/ipdps49936.2021.00097
发表时间：
2020-10
期刊：
2021 IEEE International Parallel and Distributed Processing Symposium (IPDPS)
影响因子：
--
作者：
Jiannan Tian;Cody Rivera;S. Di;Jieyang Chen;Xin Liang;Dingwen Tao;F. Cappello
通讯作者：
Jiannan Tian;Cody Rivera;S. Di;Jieyang Chen;Xin Liang;Dingwen Tao;F. Cappello