多段階ベクトルを用いた高速文書検索アルゴリズムに関する研究

基于多级向量的高速文档检索算法研究

• 批准号: 11780310
• 负责人: 泓田 正雄
• 金额: $ 1.41万
• 依托单位: The University of Tokushima
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780310/
• 关键词: 全文検索; 文書データベース; 用例文; 絞り込みアルゴリズム

論理和を用いた検索のアルゴリズムの考案と,11年度に提案した手法を実際の大規模文書データを用いて,試験・評価を行った.1.大規模文書データの構築日本電子化辞書研究所の文書ファイル,岩波書店の広辞苑辞書のテキストファイル,その他研究室で収集した約10年間の卒業研究,修士研究,博士研究の論文ファイルなどを約数百メガバイトを補助記憶に格納し,既に開発されている形態素解析システムを改良(文節で解析を行えるようにした),利用して,キーワードと対応する文番号列情報を収集した.2.大規模文書データベースに対する文番号ベクトルの検討11年度に開発した検索システムを大規模文書データベースに応用し,評価する.まず,抽出されたキーワードに対する文番号列の長さを測定し,文番号ベクトルの圧縮効果を確かめる.この確認により,文番号ベクトルを分割する最適なブロック長を決定した.3.大規模文書データベースに対する検索と絞り込みの実験と評価2.で決定されたブロック長で文番号ベクトルを多段階に圧縮して,検索と絞り込み時間の評価を,検索条件の数,分割された文番号ブロック長の転送回数,文番号列の長さをパラメータとして実施した.4.従来の方法との比較と検討従来の手法として,文番号列を逐次比較する手法と,文番号ベクトルの単純な論理演算を行う手法をインプリメントし,同じ大規模文書データベースの検索実験により,提案手法と比較した.

Logical and を い た 検 cable の ア ル ゴ リ ズ ム と の test case, 11 に proposal し た gimmick を be interstate の large-scale instruments デ ー タ を with い て, test, evaluation of 価 を line っ た. 1. Large-scale instruments デ ー タ の shaping Japan institute of electronic dictionaries の documents フ ァ イ ル, iwanami bookstore の hiroo ci yuan dictionaries の テ キ ス ト フ ァ イ ル, そ の his laboratory で 収 set し た about 10 years の school study, friar, Dr の paper フ ァ イ ル な ど を about hundreds of メ ガ バ イ ト を aid memory に Wagner し, both に open 発 さ れ て い る morpheme Parsing シ ス テ ム を improvement (Wen Jie で parsing line を え る よ う に し た), using し て, キ ー ワ ー ド と 応 seaborne す る article mash column intelligence を 収 set し た. 2. Large-scale instruments デ ー タ ベ ー ス に す seaborne る article mash ベ ク ト ル の 検 for 11 に open 発 し た 検 cable シ ス テ ム を large-scale instruments デ ー タ ベ ー ス に 応 し, review 価 す る. ま ず, drew さ れ た キ ー ワ ー ド に す seaborne る article mash column の long さ を し, wen mash ベ ク ト ル の 圧 shrinkage unseen fruit を か indeed め る. こ の confirm に よ り, mash Youdaoplaceholder0, ト, ト, を division する the optimal なブロッ を length を determines the た.3. Large-scale instruments デ ー タ ベ ー ス に す seaborne る 検 stranded cable と り 込 み の be 験 と review 価 2. で decided さ れ た ブ ロ ッ ク で wen long mash ベ ク ト ル を more Duan Jie に 圧 shrinkage し て, 検 stranded cable と り 込 み time の review 価 を, 検 の number line condition, the split さ れ た article mash ブ ロ ッ ク long の planning back to number, wen mash column の long さ を パ ラ メ ー タ と し て be applied し た. 4. 従 to の way と の is と beg 従 to の 検 gimmick と し て, wen mash column を successive comparative す る と, wen mash ベ ク ト ル の 単 pure line な logical calculus を う gimmick を イ ン プ リ メ ン ト し, with じ large-scale instruments デ ー タ ベ ー ス の 検 rope be 験 に よ り, proposal gimmick と compare し た.

项目成果

Kazuhiro Morita: "Fast insertion methods of a double-array structure"Software Practice & Experience. 31・1. 43-65 (2001)

Kazuhiro Morita：“双阵列结构的快速插入方法”软件实践与经验31・1（2001）。

Masao Fuketa: "A Document Classification Method by using Field Association Words"International Journal of Information Sciences. 126. 57-70 (2000)

Masao Fuketa：“使用领域关联词的文档分类方法”国际信息科学杂志。