単視点２次元静止画像からの３次元シーンモデルの自動構築

从单视图 2D 静态图像自动构建 3D 场景模型

• 批准号: 12J02519
• 负责人: 飯塚 里志
• 金额: $ 1.73万
• 依托单位: University of Tsukuba
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2012
• 资助国家: 日本
• 起止时间: 2012-04-01 至 2015-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-12J02519/
• 关键词: 単視点モデリング; イメージベースドレンダリング; レイヤ状3次元モデル; 物体抽出; 前景物体抽出

前年度に引き続き、単視点2次元静止画像から少数のデプス入力のみで3次元シーンモデルを生成する手法ついて研究を行った。提案手法では、少数のデプス値を画像全体に伝播させることで高速にデプスマップを計算している。これについて、どのような特徴量を利用すれば最も良好なデプスの伝播を実現できるか検討し、テクスチャや色のヒストグラムなど複数の特徴量を用いてデプス伝播の実験を行った。また、本手法と関連する複数の既存手法を実装し、それらによって生成されたデプスマップについて本手法のデプスマップと比較した。その結果、既存手法は画像のノイズによって粗いデプスマップが生成されてしまうのに対し、提案手法では不連続となる箇所のエッジを保持した滑らかなデプスマップを生成できることを確認した。さらに、従来手法に比べ提案手法は数倍から数十倍の速さでデプスマップを生成できることを示した。これにより、従来の手法では困難であった、画像ベースの3次元シーンモデルのリアルタイム変形を可能にしている。本研究により、多様な画像の効率的な3次元シーンモデルの生成を実現した。さらに、提案手法は3D映像制作や画像の構図編集、写真の焦点調整、空気遠近の合成など幅広い映像コンテンツ制作に応用できることを確認した。これにより、様々な映像コンテンツの制作コストを大きく削減できると考えれられる。現状の手法では少数ながらユーザ入力を必要とするが、提案手法に局所的なデプス自動推定を組み込むことで、3次元シーンの自動生成も可能になると考えている。

Before annual に lead き 続 き, 2 dimensional 単 viewpoint, static portrait か ら minority の デ プ ス の into force み で 3 dimensional シ ー ン モ デ ル を generated す る gimmick つ い を line っ て research た. Proposed technique で は, minority の デ プ ス numerical を portrait all に 伝 sowing さ せ る こ と で high-speed に デ プ ス マ ッ プ を calculation し て い る. こ れ に つ い て, ど の よ う な 徴 quantity を use す れ ば も most good な デ プ ス の 伝 sowing を be presently で き る か beg し, 検 テ ク ス チ ャ や color の ヒ ス ト グ ラ ム な ど plural の, を 徴 quantity with い て デ プ ス 伝 sowing の be 験 を line っ た. ま た, this technique と masato even す る plural の existing technique を be し, そ れ ら に よ っ て generated さ れ た デ プ ス マ ッ プ に つ い て this gimmick の デ プ ス マ ッ プ と compare し た. そ の results, existing methods は portrait の ノ イ ズ に よ っ て coarse い デ プ ス マ ッ プ が generated さ れ て し ま う の に し seaborne, proposal で は not even 続 と な る a is の エ ッ ジ を keep し た slide ら か な デ プ ス マ ッ プ を generated で き る こ と を confirm し た. さ ら に, 従 to に several times than べ proposal gimmick は か ら dozens of times の speed さ で デ プ ス マ ッ プ を generated で き る こ と を shown し た. こ れ に よ り, 従 to の で は difficult で あ っ た, portrait ベ ー ス の 3 dimensional シ ー ン モ デ ル の リ ア ル タ イ ム - shaped を may に し て い る. In this study, によ によ and multiple な portraits are used to generate な 3d シ, <s:1>, <s:1>, モデ and を actual occurrences た. さ ら に portraits, proposal gimmick は 3 d image production や の compiling, photo の focus adjustment, empty constitutive 図 気 near-far の synthetic な ど picture hiroo い image コ ン テ ン ツ making に 応 with で き る こ と を confirm し た. こ れ に よ り, others 々 な image コ ン テ ン ツ の making コ ス ト を big き く cut で き る と exam え れ ら れ る. Status quo の gimmick で は minority な が ら ユ ー ザ を into force necessary と す る が, proposal technique に bureau な デ プ ス automatically presumed を group み 込 む こ と で, 3 dimensional シ ー ン の automatically generated も may に な る と exam え て い る.

项目成果

シーンの奥行きを考慮した景観画像におけろ対話的なオブジェクト再配置

考虑场景深度的景观图像中的交互式对象重定位

• 发表时间: 2012
• 作者: Imori;S. & Yanagihara;H.;Shuntaro Makino;飯塚里志
• 通讯作者: 飯塚里志

Efficient Depth Propagation for Constructing a Layered Depth Image from a Single Image

• DOI: 10.1111/cgf.12496
• 发表时间: 2014-10
• 期刊: Computer Graphics Forum
• 影响因子: 2.5
• 作者: S. Iizuka;Yuki Endo;Yoshihiro Kanamori;J. Mitani;Y. Fukui