視覚情報とテキスト情報とを統合した映像検索のための映像シソーラスの構築

点击翻译按钮获取中文摘要

本研究では、映像が内在する視覚情報とテキスト情報とを統合した映像検索を実現するための映像シソーラスについて検討する。映像シソーラスにより、テキストと視覚情報の関連性、両者に基づく概念や範疇などの上位構造などが表現され、テキスト・視覚情報を交差する検索(テキストによる視覚情報の検索等)、視覚情報に対するテキストキーワードの自動生成、テキスト・視覚情報の関連による上位概念の発見、テキストに対応した視覚情報を用いた画像認識手法による物体検出オントロジーの実現等が期待される。映像シソーラスの構築においては、実際の放送映像の大規模な映像アーカイブを利用した統計的な手法による自動構築法の実現を予定しており、ドメインを限らない一般の映像にも適用可能で、ロバストな手法の実現を目指す.平成15年度は、映像の視覚情報については、大規模放送映像アーカイブに対し映像断片照合を適用し、頻出する映像断片を映像キーワードとして抽出すると同時に、その出現パターンに基づく映像ブラウザを試作した。テキスト情報については、ニュ-ス映像の文字字幕放送に対しトピックの切り出し及びニュース映像アーカイブ中でのトピック追跡を行い、トピック構造に基づくニュース映像ブラウザを試作した。また、映像キーワード及びテキストキーワードの抽出結果を受けて、それらの共起関係に基づき、初期的な映像シソーラス構築の実験を行った。これらを通して、本研究の有効性を確認した。