Reconstructing Translucent Objects using Differentiable Rendering
Reconstructing Translucent Objects using Differentiable Rendering
复制标题
使用可微渲染重建半透明对象
DOI：
10.1145/3528233.3530714
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Marschner, Steve
中科院分区：
文献类型：
--
作者：
Deng, Xi;Luan, Fujun;Walter, Bruce;Bala, Kavita;Marschner, Steve
反向渲染是从照片建模对象的一种强大方法，我们扩展了之前的技术来处理呈现次表面散射的半透明材质。使用非均匀双向散射表面反射分布函数(BSSRDF)来表示半透明，扩展了路径空间可微绘制的框架，以适应表面和次表面反射。这引入了新的路径类型，需要新的方法对可见性和移动几何体引起的材质空间中的移动不连续进行采样。我们在端到端的方法中使用这种可区分的绘制方法，该方法从测量的2D图像的稀疏集合中联合恢复对象的异质半透明材料(由BSSRDF表示)和详细的几何图形(由网格表示)，该框架包含几何图形的拉普拉斯预条件。为了在BSSRDF积分引入蒙特卡罗噪声的情况下有效地优化我们的模型，我们引入了一种评估L2图像损失的双缓冲方法。这有效地避免了由于图像像素及其导数的估计的相关性而导致的梯度估计中的潜在偏差，并且即使在呈现器中使用低样本计数时也能够使优化器正确收敛。我们通过与有限差分进行比较来验证我们的导数，并通过将逆渲染的性能与以前的方法进行比较来证明我们的技术的有效性。与以前只对表面反射建模的方法相比，我们在一组合成的和真实世界的半透明对象上显示了更好的重建质量。
Inverse rendering is a powerful approach to modeling objects from photographs, and we extend previous techniques to handle translucent materials that exhibit subsurface scattering. Representing translucency using a heterogeneous bidirectional scattering-surface reflectance distribution function (BSSRDF), we extend the framework of path-space differentiable rendering to accommodate both surface and subsurface reflection. This introduces new types of paths requiring new methods for sampling moving discontinuities in material space that arise from visibility and moving geometry. We use this differentiable rendering method in an end-to-end approach that jointly recovers heterogeneous translucent materials (represented by a BSSRDF) and detailed geometry of an object (represented by a mesh) from a sparse set of measured 2D images in a coarse-to-fine framework incorporating Laplacian preconditioning for the geometry. To efficiently optimize our models in the presence of the Monte Carlo noise introduced by the BSSRDF integral, we introduce a dual-buffer method for evaluating the L2 image loss. This efficiently avoids potential bias in gradient estimation due to the correlation of estimates for image pixels and their derivatives and enables correct convergence of the optimizer even when using low sample counts in the renderer. We validate our derivatives by comparing against finite differences and demonstrate the effectiveness of our technique by comparing inverse-rendering performance with previous methods. We show superior reconstruction quality on a set of synthetic and real-world translucent objects as compared to previous methods that model only surface reflection.
登录
查看更多内容
DOI：
10.1145/1186822.1073266
发表时间：
2005-07
期刊：
ACM SIGGRAPH 2005 Papers
影响因子：
--
作者：
Tim Hawkins;Per Einarsson;P. Debevec
通讯作者：
Tim Hawkins;Per Einarsson;P. Debevec
可微时间选通渲染
影响因子：
6.2
作者：
Wu, Lifan;Cai, Guangyan;Ramamoorthi, Ravi;Zhao, Shuang
通讯作者：
Zhao, Shuang
路径重放反向传播：使用恒定内存和线性时间区分光路
DOI：
--
发表时间：
2021
期刊：
影响因子：
--
作者：
Delio Vicini
通讯作者：
Delio Vicini
路径重放反向传播
DOI：
10.1145/3476576.3476672
发表时间：
2021
期刊：
ACM Transactions on Graphics (TOG)
影响因子：
--
作者：
Delio Vicini;Sébastien Speierer;Wenzel Jakob
通讯作者：
Wenzel Jakob
用于基于物理的体积渲染的蒙特卡罗方法
DOI：
10.1145/3214834.3214880
发表时间：
2018
期刊：
ACM SIGGRAPH 2018 Courses
影响因子：
--
作者：
Jan Novák;Iliyan Georgiev;J. Hanika;Jaroslav Křivánek;Wojciech Jarosz
通讯作者：
Wojciech Jarosz