权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

大量データ処理のための領域効率の良いアルゴリズム

用于处理大量数据的节省空间的算法

基本信息

批准号：
16092222
负责人：
定兼邦彦
金额：
$ 8.32万
依托单位：
Kyushu University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
2004
资助国家：
日本
起止时间：
2004 至 2007
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-16092222/
关键词：
領域計算量グラフ探索簡潔データ構造データ圧縮エントロピースケールフリーグラフ逆探索情報検索データ構造接尾辞配列圧縮接尾辞配列文字列検索文字列圧縮省スペースオンラインアルゴリズム Web検索並列化

项目摘要

本研究では大量データ処理のための領域効率の良いアルゴリズムの開発を行った.大量データ処理を行う際の問題点としては,処理時間だけではなく,データの格納やアルゴリズムの動作に必要な記憶領域の大きさがある.よって本研究では領域効率の良いアルゴリズムの開発に重点を置き,以下のアブローチを行った.(1)データを圧縮する:データ自身やデータ構造を圧縮して保存する簡潔データ構造を開発し,少ないメモリで大量のデータを扱えるようにした.(2)データの一部分のみをメモリに格納するアルゴリズム:全体のデータ量は多いが,同時にはその限られた部分のデータのみを使用するようなアルゴリズムならば限られたメモリでも動作する.本研究では特に,グラフの探索を行う省スペースアルゴリズムを開発した.その結果,大量データ処理のための基礎となるアルゴリズムとデータ構造を開発できた.全てのデータは文字列とみなす事ができる.その文字列の長さをn,文字のアルファベットサイズをσとすると,データの圧縮前のサイズはnlog_2 σビットとなる.通常のデータ圧縮法ではこの文字列をnH_k+o(n log σ)ビットに圧縮するが,その一部分のみアクセスしたい場合でも圧縮されたデータ全体を復元する必要がある.本研究の圧縮法では,圧縮された文字列の任意の部分を高速に復元できる.具体的には,文字列中の位置が指定されたとき,その位置から始まる部分文字列で長さがlog nビットのものを定数時間で復元することができる.圧縮サイズはnH_k+o(n log σ)ビットであり従来法と漸近的に等しい.

This study aims to explore the development of a large number of technologies in the field of efficiency. A large number of data processing problems during the process point, processing time is divided into two, the data processing system is divided into two, the action of the memory field is necessary to the large number of data processing problems. This study focuses on the development of the field and the implementation of the following tasks. (1)The data structure of the device itself is compressed and preserved. The data structure is simple and developed, and the data structure is small and large. (2)A part of the data is stored in the database, and the whole data is stored in the database. At the same time, a part of the data is stored in the database. This study is aimed at exploring the development of a new way to save resources and resources. As a result, a large number of data processing and data structure development. All the words in the text are written in the same way. The length of the text column is n, the text is n, the text is n, the In general, the compression method is used to compress the text string nH_k+o(n log σ). In some cases, the compression method is necessary to compress the whole text string. In this paper, compression method is used to compress arbitrary part of text string. Specific text, the position in the text column is specified, the position is specified, the position is specified, the part of the text column is specified, the length is specified, the log n is specified, and the fixed number of times is specified. NH_k+o(n log σ) is the most important factor in the evolution of the system.