A fast n-gram full text search independent of document size and it application to a huge text base

独立于文档大小的快速 n-gram 全文搜索及其在庞大文本库中的应用

• 批准号: 10480082
• 负责人: AOE Junichi
• 金额: $ 7.36万
• 依托单位: The University of Tokushima
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 1998
• 资助国家: 日本
• 起止时间: 1998 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10480082/
• 关键词: Text database; Retrieval method; Keyword Search; test retrieval; 文書データ; 全文検索

Research results are evaluated as follows:1. Improvement of dynamic n-gram storage structuresThe ratio of improving approaches by Heisei 11, 12 and 13 became 25 %.2. Compression evaluation for postingsExperimental results in the final year reaches 85 % compression to the previous approaches.3. Retrieval Efficiency in partial MatchingThe speed is improved about 30 % for the old in des tables.4. Evaluation of practical text databasesIt is verified that n-gram full text search presented in this search is independent of the size of documents.

研究结果如下：1.动态n-gram存储结构的改进平成11、12和13的改进方法的比例为25%。最后一年的实验结果显示，与以往的方法相比，压缩率达到了85%.部分匹配时的检索效率与原DES表相比，检索速度提高了30%左右.对实际文本数据库的评价验证了本文提出的n-gram全文检索与文档大小无关。

项目成果

森田和宏: "トライ構造を用いた共起情報の効率的検索アルゴリズム" 情報処理学会論文誌. 39・9. 2563-2571 (1998)

Kazuhiro Morita：“使用 trie 结构的共现信息的高效检索算法”，日本信息处理学会汇刊 39・9（1998 年）。

E-S.Atlam: "Similarity Measurement Using Negative Weight Function"Information Processing & Management. (印刷中). (2000)

E-S.Atlam：“使用负权重函数的相似性测量”信息处理和管理（印刷中）。

K.Morita: "A Link Trie Structure of Staring Multi-Attribute"International Journal of Computer Mathematics. 118・2. 145-157 (1999)

K.Morita：“凝视多属性的链接特里结构”国际计算机数学杂志118・2（1999）。

獅々堀正幹: "多属性項目の履歴情報に基づくメイル文書のフィルタリング手法"情報処理学会論文誌. 141・8. 2299-2308 (2000)

Masaki Shisibori：“基于多属性项目的历史信息的电子邮件文档的过滤方法”日本信息处理协会交易141・8（2000）。

S.Lee, J.Aoe: "Extraction of Field coherent passages"Information Processing & Management. 38. 173-207 (2002)

S.Lee，J.Aoe：“场相干段落的提取”信息处理