ハンディカメラ映像に対するシーン分析と自動アノテーション

点击翻译按钮获取中文摘要

本年度は、最終年度としてこれまでの成果をまとめるとともに、国際会議、学術雑誌等において研究発表を行った。1.映像の構図分析ハンディカメラ映像の特性を考慮し、不安定な撮影条件下で、安定して映像を分析するための手法として、前年度に引き続きCONDENSATIONアルゴリズムによる領域追跡と、超解像度処理を適用した領域認識手法を提案し、成果を論文誌に発表した[5]。また、移動ロボットに搭載したカメラにおいて画像全体(背景)の動きと撮影対象(人物など前景)とを分離し、構図分析するとともに人物の動作を認識する手法を提案し、実験を通して確認した成果を国際会議等において発表した[1-3]。また雑誌にも投稿中である。2.自然言語アノテーションの生成方式映像の内容を解析し、特に人物の行動に焦点を当てて動作認識、さらには対象物体の識別を行う手法について検討を進め、動作と物体の2つの階層的分類モデルと確率的手法を併用して認識を行う手法を検討した。これにより、物体そのものの形状モデルを用いることなく、物体の状態変化からそのカテゴリを推定することが可能であることを確認した。(国際会議において発表[4]、雑誌投稿中)ハンディカメラに対しても、映像全体の動きからカメラ動作を推定するとともに、人物の顔・手肌領域を元に人物領域を抽出し、これらの映像特徴を組み合わせることで、自然言語文の要素を決定し、「歩いている」「手を振っている」などの記述を生成する手法を検討した。(国際会議において発表予定)3.自然言語アノテーションの応用実際にハンディカメラで撮影した映像に対し、カット点検出によりシーン分割を行い、2で述べた手法により自然言語によるアノテーションを付与する実験を行い、その効果を確認した。