大規模WEBデータの並列情報自動抽出とマネージメントに関する研究

点击翻译按钮获取中文摘要

インターネット上の非構造的で膨大なマルチメディアデータから、正確なデータ抽出やマイニングを行うには、ネットワーク型マルチメディアデータからのWEB情報抽出、自動要約や分類の技術が必要とされている。我々は、最大エントロピーMaxEnt法に基づいたデータ領域の特定を行い、条件モデル法により分類を行う自動化情報抽出について検討し、その有効生を明らかにした。しかし、最大エントロピーMaxEnt法は条件により情報抽出が出来ない場合がある。そのため、多くのWEB上の概念的存在やエンティティや同じカタログに分類されるWEB環境上に実在するコンテキスト間の潜在的意味に注目し、テキスト解析を行った。その結果、潜在的意味法を用いれば最大エントロピーMaxEnt法で効率よく情報抽出ない場合にもきることを明らかにした。次に、WEBデータやHTMLデータからの情報抽出が可能なCRF(Conditional Random Filed)を、大規模データに適応した場合に問題となる膨大な処理時間について詳細に検討した。CRFを高速化するために並列計算学習法を考案し、大規模データ(CoNLL2000-L, CV test of WSJ)に対して並列学習を行った。その結果、約45台のプロセッサ数に対してスケーラブル処理速度向上が得られることを示した。特に、200回の繰り返しが必要なCoNLL2000-L(200)データに対して、90台のプロセッサで並列処理を行い、約80倍の処理性能を達成した。