大規模マルチメディアコーパスによる映像合成に関する研究

点击翻译按钮获取中文摘要

本研究では、自然言語によるシナリオ記述の入力を行い、実際の映像を自動生成する技術の実現を目的とする。本技術により、テキスト情報をより人間に理解しやすい映像へ自動変換するシステム、映像制作者を対象とした簡易版映像の自動生成等の新たな応用の実現が期待できる。また、現在テキストと映像などの視覚情報との間のセマンティックギャップにより映像意味解析や検索などがきわめて困難となっているが、本研究による新たな見方からセマンティックギャップをとらえなおすことにより、セマンティックギャップ克服のためのブレークスルーにつながる可能性が考えられる。本研究では、インターネットや放送映像アーカイブなどから得られる大量の映像コーパスに基づき、テキストからの映像自動生成の実現を目指す。そのため、平成24年度は、大量の映像コーパスから、物体、動作、イベントなどに基づく事例映像データベースの構築を行うための技術について検討した。特に、実際の映像アーカイブ(TRECVIDコンテンツ並びに独自にインターネットより取得した映像)を対象とし、映像中の動作を行っている事物を自動的に高速に抽出し、部品化する技術について検討した。これにより、世界最先端の手法とほぼ同等の品質ながら、きわめて高速な技術を実現した。平成25年度は、これまでの成果を特段に拡張した映像マイニング技術についての検討を開始しており、大量の映像アーカイブ中に頻出する事物を自動検出することにより、さらに品質の高い映像部品化について検討した。本技術により、映像自動生成のために有用な情報も抽出可能な映像部品化が実現できる。