权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

パターン圧縮に基づく機械発見における計算限界の打破

基于模式压缩突破机器发现的计算限制

基本信息

批准号：
09J01104
负责人：
丸山史郎
金额：
$ 0.9万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2009
资助国家：
日本
起止时间：
2009 至 2010
项目状态：
已结题

项目摘要

冗長度の高いテキストデータのための軽量なオンライン圧縮アルゴリズムを提案した.このアルゴリズムの特徴として,オンラインで動作するため,次々に追加されていくデータを蓄積することなく逐次的に圧縮することが可能である.また,特別なデータ構造を使わずにデータの局所的な整数演算のみで共通の部分文字列を圧縮できるため,テキストが極端に圧縮可能な場合は十分に少ない主記憶領域で実行できる.実験の結果,重複部分を多く含む実データを約10分の1から1000分の1以下にまで圧縮可能であり,文字列索引を利用しているLZMA圧縮法と比較して約10分の1から100分の1以下の主記憶領域で高速に動作することを確認した.文法圧縮テキスト中の部分文字列の高速な参照のための索引付けに関する研究を行った.圧縮テキストを復元せずに元のテキストのように扱うためには,圧縮テキスト上でランダムアクセスを行い,任意の部分文字列を高速に参照できなければならない.本研究では,そのような操作を可能にする文法圧縮テキストのための索引付け手法を提案した.この索引付けは,索引領域も圧縮テキストの圧縮率に応じて圧縮されるという特徴を持っており,極端に圧縮されている圧縮データに対しても,その索引領域は十分に小さい.また,どんな位置にある部分文字列でも一定の時間で抽出できることが保障される.様々なコーパスに対する実験の結果,元の圧縮テキストサイズの1.2倍から1.5倍程度の主記憶領域で1秒間に500万から700万文字の部分文字列を参照できることを確認した.文法圧縮に基づく圧縮索引構造に関する研究を行った.Edit Sensitive Parsingという手法により圧縮された文法データの特性を使い,入力パターンを圧縮することで圧縮テキスト中の高速な検索が可能であり,本研究では,パターンの出現回数,出現位置,任意の部分文字列の報告を行えるように拡張し,実験による評価を行った.

High degree of lengthy のいテキストデータのための軽 quantity なオンライン圧 shrinkage アルゴリズムを proposal した. このアルゴリズムの, 徴として, オンラインで action するため, time 々に additional されていくデータを accumulation することなく successive に圧 shrinkage することが may である. また, special なデーわをタ structure ずにデータの bureau of な integral calculus のみでの part common text columns を圧 shrinkage できるため, テキストが extreme に圧 shrinkage may な occasions は very less にない main memory area で line be できる. Be 験の result, repeat part をく more contain む be データをの about 10 points 1 から below 1000 points の 1 にまで圧 shrinkage may であり, full text indexing を using している LZMA と圧 shrinkage method compare しての about 10 points 1 から 1 の main memory area below 100 points ので high-speed に action することを confirm した. In the grammar compression of テキスト, the <s:1> part of the text column <s:1> high speed な reference ためため index けに related する research を line った. 圧 shrinkage テキストを recovery せずに yuan のテキストのように Cha うためには, 圧 shrinkage テキスト on でランダムアクセスをい, arbitrary の part text columns を high-speed に reference できなければならない. This study では, そのようなを operation may にする grammar 圧 shrinkage テキストのための index pay け technique proposed をした. この index pay けは, index field も圧 shrinkage テキストの圧 shrinkage に応じて圧 shrinkage されるという, 徴を hold っており, extreme に圧 shrinkage されている圧 shrinkage データにし seaborne ても, そのは very small にさ index field いま. た, どんな position にある part text columns でも certain ので spare time できることが security される. Others 々なコーパスにす seaborne る be 験の results, yuan の圧 shrinkage テキストサイズの 1.2 times からの 1.5 degree between the main memory area で 1 second に 5 million から part 7 million text の text columns を reference できることを confirm した. Grammar compression に base づく compression index construction に related する study を line った.Edit Sensitive Parsing という gimmick により圧 shrinkage された grammar データの features をい, into force パターンを圧 shrinkage することで圧 shrinkage テキストの in high-speed な検 cable が may であり, this study では, パターンの back number, location, any の part text columns の report line をえるように company, zhang し, be 験による review 価を line った .