人物行動を伝えるための映像文法を用いた知的映像撮影、編集システムの構築

点击翻译按钮获取中文摘要

本研究では,情報学的な見地から,「効果的に情報を提示するために,どのような映像部品(単語)を用意し,どのような映像編集規則(文法)にしたがって提示すればよいか」という問題を自動化システムを構築しながら実証的に探ることを目的としている.そのために,本年度は,(1)料理や組み立て等の解説(プレゼンテーション)場面を題材とし,(1-a)人間の行動を知的に撮影するカメラマンの機能,(1-b)人間の行動を認識して映像を知的に編集するディレクターの機能,を自動化,(2)人間の行動を伝えるために映画やTV等で用いられている映像撮影,編集の技法の調査,及び,自動化システムへの適用可能性の検討,の2つの観点から研究を行ってきた.各々,以下のように,順調に研究が進行している.(1-a)撮影の主対象となる部分を複数のカメラで常に撮影し,いつでも映像として利用できる状態にする自動化撮影システムを構築した.本年は特に,2人以上がシーンに存在する場合のカメラ設定や編集について,実際のシステムを構築しながら探り,簡単なアルゴリズムを提案した.(1-b)人間の行動(ここではプレゼンテーションを対象)において,重要な意味を持ち,注目する必要がある場面や部分を検出する手法を提案した.注目すべき部分は,時間的・空間的に常に変化するため,「人間の行動(体の動きや発話等)を利用して,もっとも見せたい部分を検出する」ことが重要なポイントである.また,人物が持ち上げた物体などを画像認識により追跡する方法を提案した.(2)映画やTV等から,テーブルにおける対話シーンの映像構成について調査を行い,数多くのシーンや撮影・編集例が少数の典型的なパターンで代表されることを明らかにした.これらの典型的なパターンを上記システムに組み込むことにより,より効果的な映像を撮影,伝送,蓄積できることを実証していく予定である.