分散ネットワークによる大規模検索基盤に関する研究

使用分布式网络的大规模搜索基础设施研究

• 批准号: 09J08257
• 负责人: 倉沢 央
• 金额: $ 0.9万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2010
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-09J08257/
• 关键词: 類似検索; メトリック空間; 分散システム

本研究は,際限なく増え続ける非構造化データの類似検索基盤の構築を目的とする.本研究は,様々な非構造化データに広く適用できる技術を目指し,距離空間という極めて基礎的な距離に関する空間を扱った.本年度は,類似検索索引と近傍ペア探索アルゴリズムの開発に取り組んだ.類似検索索引は,データセットの中から任意のオブジェクトと類似したものを探すのに使われる.類似検索索引は,クエリから距離の遠いオーブジェクトを枝刈りし,距離計算コストを削減する.ほぼすべての類似検索索引では,Pivotと呼ばれる参照オブジェクトからの距離で空間を部分空間へ再帰的に分割し,木構造の索引を構築する.本年度は,昨年度に提案したMMMPを改良し,PCTreeと呼ぶ新たな検索索引を開発した.PCTreeでは,Pivotによって分割される空間のバランスと,Pivotによる枝刈り効果の,2つを考慮してPivotを選択する.その結果,PCTreeはデータの分布に合わせて索引構造を効果的に変化させ,MMMPの索引木が不均衡になりうる欠点を改善した.人工の2から64次元のベクトルデータと5つの実データに対して,GHT,MVP,LC,およびSATの4つの先行研究との間で,近傍検索に必要な距離計算回数などを比較した.その結果,提案手法は様々な分布のデータに対して全般的に有効な索引であることが明らかになった.一方,近傍ペア探索アルゴリズムは,データセットの中から類似したオブジェクトのペアを探すのに使われる.一般に,近傍ペア探索アルゴリズムでは,k番目の類似ペア間の距離の上限値を更新しながら分割統治法で枝刈りする.本研究では、AMPと呼ぶ適応型空間多分割手法を提案した.AMPは,距離に対するオブジェクトの分布が密な空間のほうが収束した上限値による枝刈りの効果が大きいことを利用して,Pivotからオブジェクトまでの距離が分散している空間から順に分割統治でk最近傍ペアを探索する.3つの実データに対して,QuickjoinおよびAMPの分割順序を逆にした手法との間で,距離計算回数の比較を行い,AMPが良好な特性を持つことを示した.

In this study, the objective is to なく increase え続ける non-constructionalization デ タ タ <s:1> similar to 検 cable base plate <e:1> construction を purpose とする. は, this study others 々 な non structured デ ー タ に hiroo く applicable で き る technology を refers し, distance space と い う extremely め て based な distance に masato す る space を Cha っ た. This year, 検, similar to 検, sosuo led と to approach ペア to explore ア ゴリズム ゴリズム, <s:1> launched に to take 検 group んだ. Similar 検 cable は, デ ー タ セ ッ ト の in か ら arbitrary の オ ブ ジ ェ ク ト と similar し た も の を agent す の に make わ れ る. Similar 検 cable は, ク エ リ か ら の far い オ ー ブ ジ ェ ク ト を branch mow り し, distance calculation コ ス ト を cut す る. ほ ぼ す べ て の similar 検 cable guide で は, Pivot と shout ば れ る reference オ ブ ジ ェ ク ト か ら で の distance space を part space へ 帰 に し segmentation, wood structure の index を build す る. This year は yesterday proposed annual に し た MMMP を improved し, PCTree と shout ぶ new た な 検 cable guide を open 発 し た. PCTree で は, Pivot に よ っ て segmentation さ れ る space の バ ラ ン ス と, Pivot に よ る branch mow り unseen fruit の, 2 つ を consider し て Pivot を sentaku す る. そ の results, PCTree は デ ー タ の distribution に close わ せ て index structure を unseen に of fruit - the さ せ, MMMP の uneven index wood が に な り う る points less を improve し た. Artificial の 2 か ら 64 yuan の ベ ク ト ル デ ー タ と 5 つ の be デ ー タ に し seaborne て, GHT, MVP, LC, お よ び SAT の 4 つ の leading research と の で, nearly alongside 検 cable に な necessary distance calculation of back な ど を compare し た. そ の as a result, the proposed technique は others 々 な distribution の デ ー タ に し seaborne て all に have sharper な index で あ る こ と Youdaoplaceholder0 Ming ら になった. Side, near alongside ペ ア explore ア ル ゴ リ ズ ム は, デ ー タ セ ッ ト の in か ら similar し た オ ブ ジ ェ ク ト の ペ ア を agent す の に make わ れ る. Generally に, nearly alongside ペ ア explore ア ル ゴ リ ズ ム で は, k's eye の similar ペ ア の の distance between ceiling numerical を update し な が ら segmentation approach to governance で branch mow り す る. This study で は, AMP と shout ぶ optimum 応 type space more segmentation method proposed を し た. AMP は, distance に す seaborne る オ ブ ジ ェ ク ト の distribution が dense な space の ほ う が 収 beam し た limit numerical に よ る branch mow り の unseen fruit が big き い こ と を using し て, Pivot か ら オ ブ ジ ェ ク ト ま で の distance が scattered し て い る space か ら に segmentation rule で k recently alongside ペ ア を explore す る. 3 つ の be デ ー タ に し seaborne て, Quickjoin お よ び AMP の sequence segmentation を inverse に し た gimmick と の で, distance calculation of back line の is を い, AMP が な features good を hold つ こ と を shown し た.

项目成果

類似検索の高速化を目的としたPivot選択手法の実験評価

加速相似性搜索的枢轴选择方法的实验评估

• 发表时间: 2010
• 作者: 倉沢央;深川大路;高須淳宏;安達淳
• 通讯作者: 安達淳

Finding the k-closest pairs in metric spaces

• DOI: 10.1145/1966865.1966870
• 发表时间: 2011-03
• 作者: H. Kurasawa;A. Takasu;J. Adachi

Maximal Metric Margin Partitioning for Similarity Search Indexes

相似性搜索索引的最大度量裕度分区

• 发表时间: 2009
• 作者: Hisashi Kurasawa;Daiji Fukagawa;Atsuhiro Takasu;Jun Adachi
• 通讯作者: Jun Adachi

Margin-based Pivot Selection for Similarity Search Indexes

相似性搜索索引的基于边距的枢轴选择

• 发表时间: 2010
• 期刊: IEICE Transactions on Information and Systems
• 影响因子: 0.7
• 作者: Hisashi Kurasawa;Daiji Fukagawa;Atsuhiro Takasu;Jun Adachi
• 通讯作者: Jun Adachi

Pivot Selection Method for Optimizing both Pruning and Balancing in Metric Space Indexes

度量空间索引中优化剪枝和平衡的枢轴选择方法

• 发表时间: 2010
• 作者: Hisashi Kurasawa;Daiji Fukagawa;Atsuhiro Takasu;Jun Adachi
• 通讯作者: Jun Adachi