3D Photography Using Context-Aware Layered Depth Inpainting
3D Photography Using Context-Aware Layered Depth Inpainting
复制标题
DOI：
10.1109/cvpr42600.2020.00805
复制
发表时间：
2020-04
期刊：
影响因子：
--
通讯作者：
Meng-Li Shih;Shih-Yang Su;J. Kopf;Jia-Bin Huang
中科院分区：
文献类型：
--
作者：
Meng-Li Shih;Shih-Yang Su;J. Kopf;Jia-Bin Huang
我们提出了一种用于将单个RGB-D输入图像转换为3D照片的方法，即，一种用于新颖视图合成的多层表示，其包含原始视图中被遮挡的区域中的幻觉化颜色和深度结构。我们使用一个分层的深度图像与显式的像素连接作为底层表示，并提出了一个基于学习的修复模型，迭代合成新的本地颜色和深度的内容到闭塞区域的空间上下文感知的方式。由此产生的3D照片可以使用标准图形引擎以运动视差有效地渲染。我们验证了我们的方法在广泛的具有挑战性的日常场景的有效性，并显示较少的文物相比，国家的最先进的。
We propose a method for converting a single RGB-D input image into a 3D photo, i.e., a multi-layer representation for novel view synthesis that contains hallucinated color and depth structures in regions occluded in the original view. We use a Layered Depth Image with explicit pixel connectivity as underlying representation, and present a learning-based inpainting model that iteratively synthesizes new local color-and-depth content into the occluded region in a spatial context-aware manner. The resulting 3D photos can be efficiently rendered with motion parallax using standard graphics engines. We validate the effectiveness of our method on a wide range of challenging everyday scenes and show less artifacts when compared with the state-of-the-arts.