効率よいVF符号とその上での高速なパターン照合の実現に関する研究

高效VF码及其高速模式匹配研究

• 批准号: 12J02654
• 负责人: 吉田 諭史
• 金额: $ 1.15万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J02654/
• 关键词: 歪のないデータ圧縮; VF符号; 圧縮パターン照合

本研究の目的は, 圧縮率が高く, 圧縮処理や圧縮パターン照合が高速に行えるデータ圧縮の方法を開発することである. 平成25年度は, 高性能なVF符号の開発と, その理論的および実験的な性能評価を行った. 具体的には, 次の(1)と(2)の研究を行った.(1)Re-Pairを用いたVF符号の消費メモリ量を削減するために, 入力テキストを数十MBから数百MBのブロックに分割して, それぞれについてRe-Pairを使用して圧縮するVF符号を開発した. また, この場合, 各ブロックに対応する辞書に重複する変換規則が存在すると考えられる. これに対して, 本研究では, 隣接する2ブロック間で, 前のブロックの変換規則の中で, 後ろのブロックにおいても頻出であるものを共有することで, 辞書を格納する領域を削減する手法を提案した. また, この手法を実装して, 実験的な評価を行った. その結果, Re-Use法と比較して, 圧縮速度を低下させることなく, 圧縮率を改善することができた.(2)VF符号で圧縮されたデータに元のテキストと同じ長さのビット列に対する簡潔索引構造を埋め込むことで, この対応付けを高速に行う手法を提案した. このビット列は, 符号語に対応する文字列の最後の文字の位置だけが1となっている. なお, このビット列に対する簡潔索引構造を埋め込むことで, 位置関係の対応付けが高速に行えるようになっている. また, 実験の結果, 同様の機能を持つ可変長符号であるFOLCAよりも10倍以上高速に位置関係の対応付けができることが明らかになった.

The purpose of this study is that the rate of failure is high, and it is necessary to do the same in accordance with the method of high-speed train operation. In the year 25 of Pingcheng, high-performance VF symbols are available, and the performance of the theory is improved. For specific information, in (1) (2), the research line. (1) Re-Pair uses the VF symbol to eliminate the number of data. The input value is ten MB, the number of MB, and the number of MB. If there is a problem, please do not agree with each other, and all the rules exist. In this study, the following is the first step in this study. In this study, please contact me in this study. The gimmick, the gimmick. The results show that the Re-Use method makes a comparison, the speed is low, the speed is low, and the rate is improved. (2) the VF symbol is the same as that of the long-distance train system. The index is used to create a real-time data acquisition system, and to pay for a proposal for high-speed transportation. Please read the column, the symbol, the last column of the text, the location of the text. This is the first time that the index has been built, and the location and location of the train is very high. The result of the experiment shows that the same machine can hold more than 10 times the speed of the long-term symbol, the FOLCA, and the position of the high-speed engine.

项目成果

共有辞書を用いた効率の良い圧縮アルゴリズム

使用共享字典的高效压缩算法

• 发表时间: 2012
• 作者: 関根渓;笹川裕人;吉田諭史;喜田拓也
• 通讯作者: 喜田拓也

Direct Access to Variable-to-Fixed Length Codes with a Succinct Index

通过简洁索引直接访问可变长度代码和固定长度代码

• 发表时间: 2014
• 作者: Satosi Yosia;Hirohito Sasakawa;Kei Sekine;and Takuya Kida
• 通讯作者: and Takuya Kida

Adaptive Dictionary Sharing Method for Re-Pair Algorithm

重新配对算法的自适应字典共享方法

• 发表时间: 2014
• 作者: Kei Sekine;Hirohito Sasakawa;Satoshi Yoshida;and Takuya Kida
• 通讯作者: and Takuya Kida

Variable-to-Fixed-Length Encoding for Large Texts Using Re-Pair Algorithm with Shared Dictionaries

使用共享字典的重新配对算法对大文本进行可变长度编码

• 发表时间: 2013
• 作者: Kei Sekine;Hirohito Sasakawa;Satoshi Yoshida;and Takuya Kida
• 通讯作者: and Takuya Kida

Analysis of Multiplexed Parse Trees for Almost Instantaneous VF codes

几乎瞬时 VF 代码的多路复用解析树分析

• 发表时间: 2012
• 作者: Janairo J.I.;Sakaguhi T.;Hara K.;Fukuoka A.;Sakaguchi K.;呉羽真;Satoshi Yoshida and Takuya Kida
• 通讯作者: Satoshi Yoshida and Takuya Kida