Scalable image-based indoor scene rendering with reflections
Scalable image-based indoor scene rendering with reflections
复制标题
带反射的可扩展基于图像的室内场景渲染
DOI：
10.1145/3476576.3476609
复制
发表时间：
2021-07
期刊：
影响因子：
--
通讯作者：
Weiwei Xu
中科院分区：
文献类型：
--
作者：
Jiamin Xu;Xuchao Wu;Zihan Zhu;Qixing Huang;Yin Yang;Hujun bao;Weiwei Xu
针对室内反射场景，提出了一种新的可扩展的基于图像的绘制(IBR)流水线。我们在IBR中的三个子问题上取得了实质性的进展，即深度和反射重建、时间相干视图扭曲的视图选择和平滑渲染细化。首先，我们介绍了一种全局网格引导的交替优化算法，该算法稳健地提取了两层几何表示。前层和后层分别编码RGB-D重建和反射重建。这种表示最大限度地减少了新视图下的图像合成误差，从而实现了精确的反射渲染。其次，我们介绍了一种新的方法来选择相邻视图和计算平滑和时间相干渲染的混合权重。第三个贡献是带有运动矢量校正模块的超级采样网络，该模块可以优化渲染结果以提高最终输出的时间一致性。这三个贡献共同导致了一种新颖的系统，该系统可以产生具有各种反射的高度逼真的渲染结果。渲染质量远远优于最先进的IBR或神经渲染算法。
This paper proposes a novel scalable image-based rendering (IBR) pipeline for indoor scenes with reflections. We make substantial progress towards three sub-problems in IBR, namely, depth and reflection reconstruction, view selection for temporally coherent view-warping, and smooth rendering refinements. First, we introduce a global-mesh-guided alternating optimization algorithm that robustly extracts a two-layer geometric representation. The front and back layers encode the RGB-D reconstruction and the reflection reconstruction, respectively. This representation minimizes the image composition error under novel views, enabling accurate renderings of reflections. Second, we introduce a novel approach to select adjacent views and compute blending weights for smooth and temporal coherent renderings. The third contribution is a supersampling network with a motion vector rectification module that refines the rendering results to improve the final output's temporal coherence. These three contributions together lead to a novel system that produces highly realistic rendering results with various reflections. The rendering quality outperforms state-of-the-art IBR or neural rendering algorithms considerably.
登录
查看更多内容
DOI：
--
发表时间：
2009
期刊：
--
影响因子：
--
作者：
Michael Chukwu
通讯作者：
Michael Chukwu
DOI：
10.1109/cvpr.2019.00704
发表时间：
2019-04
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Moustafa Meshry;Dan B. Goldman;S. Khamis;Hugues Hoppe;Rohit Pandey;Noah Snavely;Ricardo Martin-Brualla
通讯作者：
Moustafa Meshry;Dan B. Goldman;S. Khamis;Hugues Hoppe;Rohit Pandey;Noah Snavely;Ricardo Martin-Brualla
影响因子：
2.5
作者：
A. Tewari;Ohad Fried;Justus Thies;V. Sitzmann;Stephen Lombardi;Kalyan Sunkavalli;Ricardo Martin-Brualla;T. Simon;Jason M. Saragih;M. Nießner;Rohit Pandey;S. Fanello;Gordon Wetzstein;Jun-Yan Zhu;C. Theobalt;Maneesh Agrawala;Eli Shechtman;Dan B. Goldman;Michael Zollhofer
通讯作者：
A. Tewari;Ohad Fried;Justus Thies;V. Sitzmann;Stephen Lombardi;Kalyan Sunkavalli;Ricardo Martin-Brualla;T. Simon;Jason M. Saragih;M. Nießner;Rohit Pandey;S. Fanello;Gordon Wetzstein;Jun-Yan Zhu;C. Theobalt;Maneesh Agrawala;Eli Shechtman;Dan B. Goldman;Michael Zollhofer
DOI：
10.1109/tpami.2020.2982166
发表时间：
2021-10-01
影响因子：
23.6
作者：
Wang, Zhihao;Chen, Jian;Hoi, Steven C. H.
通讯作者：
Hoi, Steven C. H.
DOI：
10.1109/cvpr46437.2021.01204
发表时间：
2020-11
期刊：
2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Gernot Riegler;V. Koltun
通讯作者：
Gernot Riegler;V. Koltun