固有空間への写像に基づく動画像検索手法の開発に関する研究

本研究では、動画像を画像内容の類似性に基づいて検索する手法の開発を目的とし、固有空間内に投影された画像系列が描く軌跡の類似性を評価することによって動画像検索が可能なシステムを開発した。交付申請書において示した具体的な本研究の課題は、以下の2手法を開発することである。1.エッジ抽出や領域分割などを行なわずに動画像を特徴づける手法2.生成された特徴に基づき動画像間の類似性を評価する手法1)に関しては、固有空間法を用いて個々の画像系列独自の固有空間を生成する方法を開発した。また、得られた固有空間において、連続した動画像系列が滑らかな軌跡を描くことを確認した。2)に関しては、1)の手法を用いて得られた個々の動画像系列の固有空間と軌跡を用いて、類似動画像検索を行なう手法を開発した。提案手法では、入力された画像は、すでに学習されている画像系列の固有空間との入距離によって分類される。続いて、最も類似すると判定された空間において、2つの軌跡の距離を求め、最終的に画像系列が類似するかを判定する。提案手法の有効性を確認するために、8種類のゼスチャーを対象として認識実験を行なった。提案手法は、計算された類似度に対して経験的な閾値の設定が必要ではあるものの、連続して入力される分節化されていない画像系列に対して、個々のゼスチャーの出現を検出することが可能である。本研究の実施により、固有空間内の軌跡を用いて、動画像の検索が可能であることが確認できた。また、高速化のためには、軌跡をそのまま照合に用いるのではなく、学習された固有空間内を適切に領域分割し、意味のある動作の系列を確率的な状態遷移モデルとして学習することが有効であるという知見も得ることができた。

本研究では、動画像を画像内容の類似性に基づいて検索する手法の開発を目的とし、固有空間内に投影された画像系列が描く軌跡の類似性を評価することによって動画像検索が可能なシステムを開発した。交付申請書において示した具体的な本研究の課題は、以下の2手法を開発することである。1.エッジ抽出や領域分割などを行なわずに動画像を特徴づける手法2.生成された特徴に基づき動画像間の類似性を評価する手法1)に関しては、固有空間法を用いて個々の画像系列独自の固有空間を生成する方法を開発した。また、得られた固有空間において、連続した動画像系列が滑らかな軌跡を描くことを確認した。2)に関しては、1)の手法を用いて得られた個々の動画像系列の固有空間と軌跡を用いて、類似動画像検索を行なう手法を開発した。提案手法では、入力された画像は、すでに学習されている画像系列の固有空間との入距離によって分類される。続いて、最も類似すると判定された空間において、2つの軌跡の距離を求め、最終的に画像系列が類似するかを判定する。提案手法の有効性を確認するために、8種類のゼスチャーを対象として認識実験を行なった。提案手法は、計算された類似度に対して経験的な閾値の設定が必要ではあるものの、連続して入力される分節化されていない画像系列に対して、個々のゼスチャーの出現を検出することが可能である。本研究の実施により、固有空間内の軌跡を用いて、動画像の検索が可能であることが確認できた。また、高速化のためには、軌跡をそのまま照合に用いるのではなく、学習された固有空間内を適切に領域分割し、意味のある動作の系列を確率的な状態遷移モデルとして学習することが有効であるという知見も得ることができた。