視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築

点击翻译按钮获取中文摘要

本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.平成17年度は、同一シーンを異なる視点から撮影された複数の映像を視覚情報シンボルとして同定するため、特にフラッシュのたかれているシーンを対象とした、フラッシュ間隔の照合による映像照合手法について検討を行った。また、機械学習アルゴリズム(SVM)を用いた映像セグメントの意味分類手法の検討を行った。一連の技術を総合して、映像セグメントに対し、適切なテキストキーワードを対応づけるための手法についての検討を行い、初期的な映像シソーラスの構築を試みた。