Differentiable Rendering of Neural SDFs through Reparameterization
Differentiable Rendering of Neural SDFs through Reparameterization
复制标题
通过重新参数化进行神经 SDF 的可微渲染
DOI：
10.1145/3550469.3555397
复制
发表时间：
2022
影响因子：
6.2
通讯作者：
Durand, Fredo
中科院分区：
文献类型：
--
作者：
Bangaru, Sai Praveen;Gharbi, Michael;Luan, Fujun;Li, Tzu-Mao;Sunkavalli, Kalyan;Hasan, Milos;Bi, Sai;Xu, Zexiang;Bernstein, Gilbert;Durand, Fredo
提出了一种基于神经SDF渲染器的几何场景参数自动计算正确梯度的方法。最近基于物理的网格可微分渲染技术已经使用边缘采样来处理不连续，特别是在物体轮廓处，但是sdf没有一个简单的参数形式来适应采样。相反，我们的方法建立在区域采样技术的基础上，并为sdf开发了一个连续的扭曲函数，以解释这些不连续性。我们的方法利用在SDF中编码的到表面的距离，并使用球体示踪点的正交来计算这个扭曲函数。我们进一步证明，这可以通过对点进行子采样来实现，从而使该方法易于处理神经sdf。我们的可微分渲染器可用于从多视图图像中优化神经形状，并产生与最近基于sdf的逆渲染方法相当的3D重建，而不需要2D分割蒙版来指导几何优化，也不需要几何形状的体积近似。
We present a method to automatically compute correct gradients with respect to geometric scene parameters in neural SDF renderers. Recent physically-based differentiable rendering techniques for meshes have used edge-sampling to handle discontinuities, particularly at object silhouettes, but SDFs do not have a simple parametric form amenable to sampling. Instead, our approach builds on area-sampling techniques and develops a continuous warping function for SDFs to account for these discontinuities. Our method leverages the distance to surface encoded in an SDF and uses quadrature on sphere tracer points to compute this warping function. We further show that this can be done by subsampling the points to make the method tractable for neural SDFs. Our differentiable renderer can be used to optimize neural shapes from multi-view images and produces comparable 3D reconstructions to recent SDF-based inverse rendering methods, without the need for 2D segmentation masks to guide the geometry optimization and no volumetric approximations to the geometry.
登录
查看更多内容
通过不可微采样进行可微表面渲染
DOI：
--
发表时间：
2021
期刊：
IEEE International Conference on Computer Vision
影响因子：
--
作者：
Forrester Cole;Kyle Genova;Avneesh Sud;Daniel Vlasic;Zhoutong Zhang
通讯作者：
Zhoutong Zhang
影响因子：
6.2
作者：
Lombardi, Stephen;Simon, Tomas;Sheikh, Yaser
通讯作者：
Sheikh, Yaser
DOI：
10.1145/192161.192250
发表时间：
1994-07
期刊：
Proceedings of the 21st annual conference on Computer graphics and interactive techniques
影响因子：
--
作者：
James Arvo
通讯作者：
James Arvo
DOI：
10.1109/cvpr46437.2021.00541
发表时间：
2021-04
期刊：
2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Kai Zhang;Fujun Luan;Qianqian Wang;Kavita Bala;Noah Snavely
通讯作者：
Kai Zhang;Fujun Luan;Qianqian Wang;Kavita Bala;Noah Snavely
路径重放反向传播
DOI：
10.1145/3476576.3476672
发表时间：
2021
期刊：
ACM Transactions on Graphics (TOG)
影响因子：
--
作者：
Delio Vicini;Sébastien Speierer;Wenzel Jakob
通讯作者：
Wenzel Jakob