ハンディカメラ映像に対するシーン分析と自動アノテーション

场景分析和自动注释，方便拍摄镜头

• 批准号: 16700113
• 负责人: 小島 篤博
• 金额: $ 2.24万
• 依托单位: Osaka Prefecture University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2004
• 资助国家: 日本
• 起止时间: 2004 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16700113/
• 关键词: 動画像処理; 自然言語生成; アノテーション付与; 移動カメラ; 人物行動認識; 物体形状と機能; 映像文法; インデクシング; 動画像認識

本年度は、最終年度としてこれまでの成果をまとめるとともに、国際会議、学術雑誌等において研究発表を行った。1.映像の構図分析ハンディカメラ映像の特性を考慮し、不安定な撮影条件下で、安定して映像を分析するための手法として、前年度に引き続きCONDENSATIONアルゴリズムによる領域追跡と、超解像度処理を適用した領域認識手法を提案し、成果を論文誌に発表した[5]。また、移動ロボットに搭載したカメラにおいて画像全体(背景)の動きと撮影対象(人物など前景)とを分離し、構図分析するとともに人物の動作を認識する手法を提案し、実験を通して確認した成果を国際会議等において発表した[1-3]。また雑誌にも投稿中である。2.自然言語アノテーションの生成方式映像の内容を解析し、特に人物の行動に焦点を当てて動作認識、さらには対象物体の識別を行う手法について検討を進め、動作と物体の2つの階層的分類モデルと確率的手法を併用して認識を行う手法を検討した。これにより、物体そのものの形状モデルを用いることなく、物体の状態変化からそのカテゴリを推定することが可能であることを確認した。(国際会議において発表[4]、雑誌投稿中)ハンディカメラに対しても、映像全体の動きからカメラ動作を推定するとともに、人物の顔・手肌領域を元に人物領域を抽出し、これらの映像特徴を組み合わせることで、自然言語文の要素を決定し、「歩いている」「手を振っている」などの記述を生成する手法を検討した。(国際会議において発表予定)3.自然言語アノテーションの応用実際にハンディカメラで撮影した映像に対し、カット点検出によりシーン分割を行い、2で述べた手法により自然言語によるアノテーションを付与する実験を行い、その効果を確認した。

This year, the final year, the achievements, international conferences, academic journals, etc. 1. Image Structure Analysis: Considering the Characteristics of Image under Unstable Image Conditions, Stable Image Analysis Methods, Field Tracking Methods, Super Resolution Methods, Application Methods and Results [5] [1-3] The method of recognizing the action of the character is proposed, and the results are confirmed in the international conference.また雑志にも投稿中である。2. The content analysis of the natural speech pattern, the focus of the action of the character, the recognition of the object, the method of the movement, the classification of the object, the method of the accuracy, and the method of the movement. The shape of the object is determined. (International Conference Report [4], Journal Submission) Discussion on how to determine elements of natural language text,"Move","Move", Move ", Move", 3. The implementation of natural speech technology, including the implementation of natural speech technology, and the confirmation of its results.

项目成果

Environmental Recognition Based on Analysis of Human Actions for Mobile Robot

基于人体动作分析的移动机器人环境识别

• 发表时间: 2006
• 期刊: Proc. of 18th International Conference on Pattern Recognition 4
• 作者: M.Mitani;M.Takaya;A.Kojima;K.Fukunaga
• 通讯作者: K.Fukunaga

Building Maps of Unknown Environment through Observation of Human Actions

通过观察人类行为绘制未知环境地图

• 发表时间: 2006
• 期刊: Proc. of 1st International Conference on Innovative Computing, Information and Control 1
• 作者: M.Mitani;M.Takaya;A.Kojima;K.Fukunaga
• 通讯作者: K.Fukunaga

Scene Recognition Based on Relationship Between Human Actions and Objects

基于人体动作与物体关系的场景识别

• 发表时间: 2004
• 期刊: Proc.of 17th International Conferenceon Pattern Recognition 2
• 作者: M.Higuchi;S.Aoki;A.Kojima;K.Fukunaga
• 通讯作者: K.Fukunaga