大規模映像資源のためのマルチモーダルセマンティックインデクシング

点击翻译按钮获取中文摘要

本年度は、大規模映像資源に対するマルチモーダルなセマンティックインデクシングシステムの構築に向けて、前年度までに作成したシステムの高速化を行う手法を開発した。セマンティックインデクシングとは、映像の中から物体やイベントなど、意味を持った対象を自動的に検出し、映像の意味的分類を行うことである。セマンティックインデクシングは、意味に基づいた高度な映像検索への応用が期待される研究課題であり、画像、音声、言語に基づいたマルチモーダルな手法の開発が必要とされている。さらに、大規模なデータの処理に向けて、高速な特徴抽出アルゴリズムが不可欠である。そこで、本年度は、Neighbor-to-Neighbor (NTN)探索という高速化手法を新たに開発した。NTN探索は、ベクトル量子化や混合ガウス分布に関する確率計算を高速化する手法であり、入力となる特徴量の中から類似したものを探索し、類似度に応じて計算を省略することで高速化を実現する。PASCAL VOCデータセットにおける評価実験では、これまでに作成した混合ガウス分布を用いたセマンティックインデクシングシステムにNTN探索を導入することで、検出精度を高く保った状態で、89.3%の計算量削減を実現した。また、映像解析に関する国際的ワークショップであるTRECVIDのセマンティックインデクシングタスクにおける評価実験では、6種類の画像・音響特徴量とこれまでに開発した手法を統合して用いることで、映像検出精度がタスク参加18機関中第3位となり、精度・計算量の両観点から、我々の手法の有用性が確認された。