半構造化データに対する文字列処理の高速化に関する研究

加速半结构化数据字符串处理的研究

• 批准号: 14780224
• 负责人: 喜田 拓也
• 金额: $ 1.92万
• 依托单位: Hokkaido University (2004)Kyushu University (2002-2003)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14780224/
• 关键词: 文字列照合; 半構造化データ; HTML, XML; データ圧縮; Pattern Matching; String Processing; 文法変換に基づく圧縮; オントロジー; HTML,XML; VLDCパタン; Hamming Distance; Aho-Corasick照合機械; 日本語文宇列照合

WWW上で広く用いられているHTMLファイルは,タグを単位とした木構造を内部表現に持つ半構造化データである.ポストHTMLとして登場し,今日ではアプリケーション間のデータ交換のための共通形式として注目を浴びているXMLファイルも同様の半構造化データである.これまで半構造化データに対する文字列処理といえば,一度テキストから木構造を抽出し,それを土台にしてタグの要素であるテキストに対して形態素解析を行ったり,部分文字列やN-gramを切り出したりした後に索引構造を構築し,それを用いて文字列照合などの処理を行うのが主であった.しかしながら,この方法では索引構造を構築するために時間がかかるうえ,元データの変更毎に再構築する必要がある.本研究では,索引構造を用いずに半構造化データに対しそのまま文字列処理をする手法の開発が目的である.そのために,半構造化データに対して必要とされる文字列照合操作を明らかにし,各操作についてより高速なアルゴリズムを開発する.例えば,半構造化データに対する検索要求としては,ある特定の階層構造の下にあるデータのみを対象とした文字列照合を行ったり,XMLファイル中の特殊な名前を持つタグを探し出したりすることが考えられる.このような照合操作の実現は,タグやデータの高速な置換処理や,大規模テキストからの高速なデータマイニング等への応用につながる.本年度は,半構造データに対する文字列照合に適したデータ圧縮法の枠組みの一つである文法変換に基づくデータ圧縮法について取り組み,理論的に少スペースかつ線形時間でデータを圧縮する手法を提案した.また,半構造化データに対する文字列処理の一つの応用として,オントロジーを考慮した文字列処理という新しい問題について取り組み,各種オントロジーデータのうち分類階層データを考慮した文字列照合についてのアルゴリズムを開発した.

On the WWW で hiroo く with い ら れ て い る HTML フ ァ イ ル は, タ グ を 単 a と し た wooden structure を internal performance に hold つ half structured デ ー タ で あ る. ポ ス ト HTML と し し て performing on stage, today で は ア プ リ ケ ー シ ョ ン between の デ ー タ exchange の た め の common form と し て attention を bath び て い る XML フ ァ イ ル も with others in の half structure The デ ー タ で あ る. こ れ ま で half structured デ ー タ に す seaborne る text columns 処 Richard と い え ば, once テ キ ス ト か ら を drew し wood construction, そ れ を TuTai に し て タ グ の elements で あ る テ キ ス ト に し seaborne line element analytic を っ て form た り, part of the text columns や N - "gramm を り cutting out し た り し た を build し に index construction, after そ れ を use い て text columns as close な ど の 処 bedding line を う の が main で あ っ た. し か し な が ら, こ の way で は を index structure constructing す る た め に time が か か る う え, yuan デ ー タ の - more in their に to construct す る necessary が あ る. This study で は, index structure を with い ず に half structured デ ー タ に し seaborne そ の ま ま text columns 処 Richard を す る gimmick の open 発 が purpose で あ る. そ の た め に, half structured デ ー タ に し seaborne て necessary と さ れ る text columns according to close operation を Ming ら か に し, each operation に つ い て よ り high-speed な ア ル ゴ リ ズ ム を open 発 す る. Example え ば, half structured デ ー タ に す seaborne る 検 cable requirements と し て は, あ る under specific の class tectonic の に あ る デ ー タ の み を like と seaborne し た text columns do close を っ た り, XML フ ァ イ ル の special な former を hold つ タ グ を agent し out し た り す る こ と が exam え ら れ る. こ の よ う な according to close operation の be は, タ グ や デ ー タ の high speed な replacement 処 や, large-scale テ キ ス ト か ら の high-speed な デ ー タ マ イ ニ ン グ etc へ の 応 with に つ な が る. は this year, half structure デ ー タ に す seaborne る text columns as close に optimum し た デ ー タ 圧 shrinkage method の 枠 group み の a つ で あ る grammatical variations in に base づ く デ ー タ 圧 shrinkage method に つ い て み り group, the theory of less に ス ペ ー ス か つ linear time で デ ー タ を 圧 shrinkage す る technique proposed を し た. ま た, half structured デ ー タ に す seaborne る text column 処 reason の つ の 応 use と し て, オ ン ト ロ ジ ー を consider し た text columns 処 Richard と い う new し い problem に つ い て み り group, various オ ン ト ロ ジ ー デ ー タ の う ち classification class デ ー タ を consider し た text columns as close に つ い て の ア ル ゴ リ ズ ム を open 発 し た.

项目成果

T.Kida, et al.: "Collage system : A unifying framework for compressed pattern matching"Theoretical Computer Science. 298. 253-272 (2003)

T.Kida 等人：“拼贴系统：压缩模式匹配的统一框架”理论计算机科学。

データストリームのためのマイニング技術

数据流挖掘技术

• 发表时间: 2005
• 期刊: 情報処理, 情報処理学会 46・1
• 作者: 有村博紀;喜田拓也
• 通讯作者: 喜田拓也

Pattern Matching with Taxonomic Information

与分类信息的模式匹配

• 发表时间: 2004
• 期刊: Proceedings of Asia Information Retrieval Symposium (AIRS2004)
• 作者: T.Kida;H.Arimura
• 通讯作者: H.Arimura

Masayuki Takeda, Satoru Miyamoto, Takuya Kida, et al.: "Processing Text Files as Is : Pattern Matching over Compressed Texts, Multi-Byte Character Texts, and Semi-Structured Texts"Proc. 9th International Symposium on String Processing and Information Retr

Masayuki Takeda、Satoru Miyamoto、Takuy​​a Kida 等人：“按原样处理文本文件：压缩文本、多字节字符文本和半结构化文本的模式匹配”Proc。

A Space-Saving Linear-Time Algorithm for Grammar-Based Compression

一种基于语法的压缩的节省空间的线性时间算法

• 发表时间: 2004
• 期刊: Proc.11th International Symposium on String Processing and Information Retrieval LNCS3246
• 作者: H.Sakarnoto;T.Kida;S.Shimozono
• 通讯作者: S.Shimozono