超並列システム向け可逆データ圧縮法の提案と実用化

大规模并行系统可逆数据压缩方法的提出及实际应用

• 批准号: 21H03417
• 负责人: 中野 浩嗣
• 金额: $ 10.98万
• 依托单位: Hiroshima University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21H03417/
• 关键词: データ圧縮; ビッグデータ処理; 並列処理; 機械学習

現在幅広く利用されている可逆圧縮手法は，並列化による高速処理を前提に設計されておらず，本質的に逐次処理が必要なものが多い．そのため，GPUが身近にあるにもかかわらず，データの可逆圧縮の処理にその高い計算能力が活用されていない．本研究の目的は，GPUをターゲットに並列化による高速化が可能な効率良い可逆圧縮法を提案することである．本年度は，昨年度に開発したdeflateアルゴリズムの並列実行処理を，最新のGPU向けに最適化を行った． deflateアルゴリズムはgzip，zip等で幅広く用いられており，圧縮性能が高いため，もっともポピュラーな可逆のデータ圧縮方式である．deflate圧縮では，前方部分を辞書として用い，（オフセット，長さ）のペアの値に変換する．長さが長いほど，圧縮率が高くなる．さらに，オフセットと長さをハフマン符号により圧縮する．処理が逐次的なため，GPUによる並列化が困難であった．Deflateで用いる辞書をGPUにメモリ上に実装する際のデータ構造をGPUによる並列処理向けに改造した．また，理論的には，辞書のサイズを小さくしたり，ブロックサイズを小さくすると圧縮率が悪化するが，この悪化がほとんどおきないようにそれぞれのサイズを巧妙に設定する方法を開発した．また，CUDAブロックへのスレッドの分割サイズについてSKSS(Single Kernel Soft Synchronization)法が効率よく動作するよう最適化を行った．GPUの通常のプログラムは，バリア同期のために，複数のカーネルに分割し，このカーネルが逐次的に実行される．カーネル起動のオーバーヘッドは大きく，それが性能低下の大きな原因となる．SKSS法では，複数カーネルへの分割を避けて，１つのカーネルで切れ目なく並列処理を行うことができる．さらには，具体的なGPUによる並列処理への適用を試みた．

Now the amplitude of the use of reversible compression method, parallel to the premise of high-speed processing design, the nature of the sequential processing is necessary for more. The GPU is close to the computer, and the high computing power of the reversible compression processing is utilized. The purpose of this study is to propose a method for GPU parallel processing, high speed and high efficiency. This year, the latest GPU optimization was launched yesterday. deflate the compression mode.deflate the compression mode. deflate the compression Long and medium length, high compression rate.さらに，オフセットと长さをハフマン符号により圧缩する. The parallel processing of GPU is difficult.Deflate is used in dictionary. GPU is used in parallel processing. The theory of the dictionary is small, the compression ratio is small, and the method of the dictionary is small. In addition, the CUDA Single Kernel Soft Synchronization (SKSS) method is used to optimize the performance.GPU's normal reverse synchronization, multiple kernel synchronization, multiple kernel segmentation, and sequential implementation. SKSS method is used to avoid the division of multiple clusters, and the parallel processing of multiple clusters is used to avoid the division of multiple clusters. For example, the GPU may be used in parallel processing.

项目成果

GPU implementations of deflate encoding and decoding

deflate编码和解码的GPU实现

• DOI: 10.1002/cpe.7454
• 发表时间: 2022
• 期刊: Concurrency and Computation: Practice and Experience
• 作者: Takafuji Daisuke;Nakano Koji;Ito Yasuaki;Kasagi Akihiko
• 通讯作者: Kasagi Akihiko

Acceleration of Deflate Encoding and Decoding with GPU implementations

使用 GPU 实现加速 Deflate 编码和解码

• DOI: 10.1109/candarw53999.2021.00036
• 发表时间: 2021
• 期刊: Proc. of CANDAR Workshops
• 作者: Daisuke Takafuji;Koji Nakano;Yasuaki Ito;Akihiko Kasagi:
• 通讯作者: Akihiko Kasagi:

Graph-theoretic Formulation of QUBO for Scalable Local Search on GPUs

用于 GPU 上可扩展本地搜索的 QUBO 图论公式

• 发表时间: 2022
• 作者: Ryota Yasudo;Koji Nakano;Yasuaki Ito;Yuya Kawamata;Ryota Katsuki;Shiro Ozaki;Takashi Yazane;Kenichiro Hamano
• 通讯作者: Kenichiro Hamano

A GPU Implementation of Watercolor Painting Image Generation

水彩画图像生成的 GPU 实现

• DOI: 10.1109/candarw53999.2021.00031
• 发表时间: 2021
• 期刊: Proc. of CANDAR Workshops
• 作者: Jiamian Huang;Yasuaki Ito;Koji Nakano
• 通讯作者: Koji Nakano

Tile art image generation using parallel greedy algorithm on the GPU and its approximation with machine learning

• DOI: 10.1002/cpe.5623
• 发表时间: 2019-12
• 期刊: Concurrency and Computation: Practice and Experience
• 作者: Naoki Matsumura;Hiroki Tokura;Yuki Kuroda;Yasuaki Ito;K. Nakano