セマンティックスとマルチモーダルに基づくハイライト抽出・要約・索引付け・検索

点击翻译按钮获取中文摘要

本研究では、マルチメディアコンテンツから自動的にセマンティクスを抽出するために、知識処理、セマンティクス処理、および低レベルのマルチメディア処理などを統合するアプローチの実現を図った。具体的には、スポーツ放送映像を取り上げ、統合アプローチにより得られたセマンティクス、およびマルチモーダル情報を用いることで、ハイライト抽出や要約、索引付け、検索を効率的に実行するアルゴリズムを提案し、実験的検証を行った。1.選手や審判、ボールなどのオブジェクトはスポーツ映像において重要な役割を担うので、これらの高精度な認識・追跡手法を考案し、低レベル特徴の一つとしてオブジェクトを抽出した。この結果と他の低レベル特徴との統合により、スポーツ映像の高レベルな概念であるイベントモデルの構築及び、構築したモデルを用いたイベント検出を試みた。ここではサッカー映像のゴールシーンをケーススタディに手法を作成した。2.複数の低レベル特徴ストリームに対し、データマイニング技術の利用により、時間長の可変なイベントの表現となるパターンを推定した。特に、時空間パターンマイニング技術はスポーツ映像のイベントのような時空間特徴に対するパターン推定に適していることを検証し、他のドメイン(サーベイランス映像)への適用性を検討した。3.イベント検出の結果を用い、インデキシング、閲覧システムを構築し、提案したイベント検出手法の特性を評価した。