巨大データからの知識発見を可能にする圧縮文字列処理基盤技術

压缩字符串处理平台技术，实现海量数据知识发现

• 批准号: 13J04937
• 负责人: 後藤 啓介
• 金额: $ 0.64万
• 依托单位: Kyushu University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2013
• 资助国家: 日本
• 起止时间: 2013 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13J04937/
• 关键词: アルゴリズム; 圧縮文字列処理

LZ77圧縮に着目し, LZ77圧縮を省領域で計算するアルゴリズムの開発を行った. LZ77圧縮は理論的にも実用的にも圧縮率の良い圧縮法であることが知られており, 圧縮用途以外にも, 連の解析や周期の発見など文字列解析に幅広く応用される, 汎用かつ知識発見において重要な位置づけにある圧縮データ構造である. そのような応用を考える上でボトルネックとなるのがLZ77圧縮の計算にかかる時間と領域であり, 省領域で動作する線形時間アルゴリズムの開発が求められている. LZ77圧縮は入力テキスト全体に渡る繰り返し構造を計算する必用があるため, 線形時間アルゴリズムの開発にはテキストの索引構造とその補助データ構造を使うことが一般的であり, より省領域なアルゴリズムの開発はこれらのデータ構造の領域を如何に削減するかが課題であった. 筆者は計算に必要な使用領域の削減に取り組み, NlogN+0(σlog N) bits領域を使用する線形時間アルゴリズムを提案した, ここでNは入力テキストサイズ, σはアルファベットサイズである. 先行研究で最も省領域な2N log Nbitsを使用する線形時間アルゴリズムKKP2と比較すると, アルファベットサイズが小さい場合, 提案手法はKKP2に比べほぼ半分の領域で動作し, 大きな改善に成功している. 計算機実験によりKKP2と新手法の実行時間を比較した場合, 新手法は領域を半分程度に抑えた事による計算の複雑さが増したにも関わらず, 実行時間はKKP2の2倍ほどの実行時間の増加に留まっているとの結果が得られた.

LZ77 pays close attention to the situation, and LZ77 calculates that the provincial government will start the operation of the bank. The rate of information used in the theory of LZ77 is very good. This is a good way to know that you are not used for your purpose, that you are not in a position to use your knowledge, and that you are not using your knowledge. In order to save time in the field and save time in the field, it is necessary to use the computer to calculate the time in the field of communication, so as to save the time in the field. LZ77 is responsible for the production of all passenger cars. It is necessary to use the license plate for the calculation of the vehicle, and the index is used for the production of the vehicle in the form of time. It is necessary to help the production of the vehicle, so that it can be used in the general market. In the province, it is necessary to start the operation of the factory, and how to start the manufacturing process. The owner calculates that it is necessary to use the field equipment to obtain the data, and the NlogN+0 (σ logN) bits field uses the time frame to make the proposal, and the operator makes full effort to obtain the information. First of all, we will study the use of the most economical domain in the field of log Nbits, such as the use of hardware, the use of hardware, the use of time, the number of KKP2, the number of proposals, the number of people in the field, and the number of people who have been successfully improved. The operation time of the new method of KKP2 is more accurate than that of the computer, and the calculation of the new method is more complex than that of the computer. The operating time of the new method is twice as high as that of the KKP2.

项目成果

Space Efficient Linear Time Lempel-Ziv Factorization for Small Alphabets

• DOI: 10.1109/dcc.2014.62
• 发表时间: 2014-03
• 期刊: 2014 Data Compression Conference
• 作者: Keisuke Goto;H. Bannai