言語と画像の情報統合によるスポーツ映像の意味内容解析及び構造化に関する研究

点击翻译按钮获取中文摘要

近年,テレビやビデオ映像などのマルチメディア情報の普及に伴い,映像データに対する効率的な検索システムなどへの要求が高まっている.これらのシステムの構築には,映像データの意味内容記述が不可欠である.本研究では,この意味内容記述にかかる労力を軽減するべく,映像データの自動的な意味内容解析法の開発を目的としている.本研究では,映像データの中でも特に放送型スポーツ映像を対象に,映像を構成する意味的な基本要素(ストーリーユニット)を定義し,ストーリーユニットへの自動分割及び各ストーリーユニットに対する意味内容記述の自動生成を目指している.提案手法ではクローズドキャプション(CC)と呼ばれる音声をテキスト形式にしたもの、及び画像ストリームを利用する.まずCCを構成する可変長のセグメントを単語及び文の出現特徴などのベイジアン学習によりスポーツ番組を構成する4種類のシーンに分類した結果から,CC内のストーリーユニットの境界を検出する.一方,画像ストリーム上の特徴を利用し,例画像との比較及び画像内に出現する試合状況に関する情報を含むオーバーレイの検出により,映像上のストーリーユニットの境界も同様に検出する.さらにオーバーレイ内の文字認識により各ストーリーユニットの試合状況に関する情報を抽出する.最後に各ストリームより抽出したストーリーユニット内の特徴(CC:イベントを表すキーワード,画像:例画像との類似度,試合状況に関する情報)を利用し,スポーツの試合の流れに関する知識を基に両ストリームの解析結果の対応付けを行う.本手法を実際のスポーツ映像に適用することで,スポーツ映像をストーリーユニットに分割し,同時に試合状況及びイベントに関するインデキシングが可能になり,各ストリームより抽出した結果に対し,除去・補完を行うことにより,より正確な試合の流れに沿った構造化が可能であることを示した.