大規模マルチメディアコーパスによる映像合成に関する研究

基于大规模多媒体语料库的视频合成研究

• 批准号: 12F02712
• 负责人: 佐藤 真一
• 金额: $ 1.47万
• 依托单位: National Institute of Informatics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012 至 2013
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12F02712/
• 关键词: 映像セグメンテーション; 映像解析; 映像合成; 映像マイニング; マルチメディアコーパス; セマンティックギャップ; 物体検出; 動作解析; イベント解析; 自然言語処理

本研究では、自然言語によるシナリオ記述の入力を行い、実際の映像を自動生成する技術の実現を目的とする。本技術により、テキスト情報をより人間に理解しやすい映像へ自動変換するシステム、映像制作者を対象とした簡易版映像の自動生成等の新たな応用の実現が期待できる。また、現在テキストと映像などの視覚情報との間のセマンティックギャップにより映像意味解析や検索などがきわめて困難となっているが、本研究による新たな見方からセマンティックギャップをとらえなおすことにより、セマンティックギャップ克服のためのブレークスルーにつながる可能性が考えられる。本研究では、インターネットや放送映像アーカイブなどから得られる大量の映像コーパスに基づき、テキストからの映像自動生成の実現を目指す。そのため、平成24年度は、大量の映像コーパスから、物体、動作、イベントなどに基づく事例映像データベースの構築を行うための技術について検討した。特に、実際の映像アーカイブ(TRECVIDコンテンツ並びに独自にインターネットより取得した映像)を対象とし、映像中の動作を行っている事物を自動的に高速に抽出し、部品化する技術について検討した。これにより、世界最先端の手法とほぼ同等の品質ながら、きわめて高速な技術を実現した。平成25年度は、これまでの成果を特段に拡張した映像マイニング技術についての検討を開始しており、大量の映像アーカイブ中に頻出する事物を自動検出することにより、さらに品質の高い映像部品化について検討した。本技術により、映像自動生成のために有用な情報も抽出可能な映像部品化が実現できる。

This study で は, natural speech に よ る シ ナ リ オ account の を line い into force, the event be の image を automatically generated す る technology の purpose be presently を と す る. This technical に よ り, テ キ ス ト intelligence を よ り に understand human し や す い image へ automatic variations in す る シ ス テ ム and producer of image を like と seaborne し た simple image の automatically generate new の た な 応 with の be が now expect で き る. ま た, now テ キ ス ト と image な ど の apparent 覚 intelligence と の between の セ マ ン テ ィ ッ ク ギ ャ ッ プ に よ り image mean parsing や 検 cable な ど が き わ め て difficult と な っ て い る が, this study に よ る new た な square か ら セ マ ン テ ィ ッ ク ギ ャ ッ プ を と ら え な お す こ と に よ り, セ マ ン テ ィ ッ ク ギ ャ ッ プ overcome の た め の ブ レ ー Youdaoplaceholder0 ス ス に に ながる ながる ながる possibility が test えられる. This study で は, イ ン タ ー ネ ッ ト や hoso image ア ー カ イ ブ な ど か ら have ら れ る large の image コ ー パ ス に base づ き, テ キ ス ト か ら の image automatically generated の be presently を refers す. そ の た め, pp.47-53 24 year は, massive の image コ ー パ ス か ら, objects, actions, イ ベ ン ト な ど に base づ く example image デ ー タ ベ ー ス の line build を う た め の technology に つ い て beg し 検 た. に, be interstate の image ア ー カ イ ブ (TRECVID コ ン テ ン ツ and び に に alone イ ン タ ー ネ ッ ト よ り obtain し た image) を like と seaborne し, image の action line を っ て い る things を automatic high-speed に に drew し, part す る technology に つ い て beg し 検 た. The world 's most advanced <s:1> techniques とほぼ are of the same quality ながら, and <s:1> わめて high-speed な technology を is realized in た. 25 year は pp.47-53, こ れ ま で を の achievements, period of に company, zhang し た image マ イ ニ ン グ technology に つ い て の を 検 please start し て お り, massive の image ア ー カ イ ブ に in mount す る を automatic 検 things out す る こ と に よ り, さ ら に quality の high い image part に つ い て beg し 検 た. This technology によ によ, automatic image generation ために ために useful な intelligence <e:1> extraction possible な image componentization が actual occurrence で る る.

项目成果

VabCut: A video extension of GrabCut for unsupervised video foreground object segmentation

VabCut：GrabCut 的视频扩展，用于无监督视频前景对象分割

• DOI: 10.5220/0004677103620371
• 发表时间: 2015
• 期刊: 2014 International Conference on Computer Vision Theory and Applications (VISAPP)
• 作者: Sébastien Poullot;S. Satoh
• 通讯作者: S. Satoh