Research on fundamental compression technology to promote the utilization of compressed data

点击翻译按钮获取中文摘要

本研究の目的は，圧縮されたデータに対して統計および知識処理を効率よく行う圧縮処理体系の基盤を築くことである．ここで「効率よい」とは，次の三つの観点において優れていることである．第一には，データをどれだけコンパクトに表現できるかという圧縮率の観点である．第二には，処理時間とメモリ消費量をどれだけ抑えられるかという計算量の観点である．第三には，圧縮後のデータ自体が，後の情報検索やデータ解析の際にどのくらい利用しやすいかというデータ活用の観点である．これまで，データ活用の観点から，非定型の文字列データに対する圧縮データ上でのキーワード検索や部分系列の頻度計測などは議論されてきた．一方で，表データやログデータのように数値データを多く含み構造化されたデータに対して，データ圧縮を積極的に用いたデータ活用方法についてほとんど議論されていない．申請者らはこれまでに，データストリームに対する頻出アイテム系列発見のための省メモリアルゴリズムについて開発を行い，第177回アルゴリズム研究会にて発表を行っている．この技術は，絶えず流れ込むデータ（データストリーム）中に頻出する部分系列を発見するためのものである．センサーログなどの数値データはデータストリーム型であり，これに対して頻出するパターンを任意の長さで検出することができる．本年度は，これまで得られた知見を基に，数値データの圧縮表現に関する調査を開始した．