RGB-D Local Implicit Function for Depth Completion of Transparent Objects
RGB-D Local Implicit Function for Depth Completion of Transparent Objects
复制标题
用于透明物体深度补全的 RGB-D 局部隐式函数
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
D. Fox
中科院分区：
文献类型：
--
作者：
Luyang Zhu;Arsalan Mousavian;Yu Xiang;H. Mazhar;Jozef van Eenbergen;Shoubhik Debnath;D. Fox
机器人中的大多数感知方法都需要RGB-D相机提供的深度信息。然而，由于光的折射和吸收，标准3D传感器无法捕获透明物体的深度。在本文中，我们介绍了一种新的方法，从一个单一的RGB-D图像的透明物体的深度完成。我们方法的关键是建立在射线体素对上的局部隐式神经表示，这使得我们的方法可以推广到看不见的对象，并实现快速的推理速度。基于这种表示，我们提出了一种新的框架，可以完成丢失的深度给定噪声RGB-D输入。我们进一步改进的深度估计迭代使用自校正细化模型。为了训练整个管道，我们构建了一个大规模的透明对象合成数据集。实验表明，我们的方法表现出显着优于目前的最先进的方法在合成和真实的世界数据。此外，与之前的最佳方法ClearGrasp [43]相比，我们的方法将推理速度提高了20倍。代码将在https://research.nvidia.com/publication/2021-03_RGB-D-Local-Implicit上发布。
Majority of the perception methods in robotics require depth information provided by RGB-D cameras. However, standard 3D sensors fail to capture depth of transparent objects due to refraction and absorption of light. In this paper, we introduce a new approach for depth completion of transparent objects from a single RGB-D image. Key to our approach is a local implicit neural representation built on ray-voxel pairs that allows our method to generalize to unseen objects and achieve fast inference speed. Based on this representation, we present a novel frame-work that can complete missing depth given noisy RGB-D input. We further improve the depth estimation iteratively using a self-correcting refinement model. To train the whole pipeline, we build a large scale synthetic dataset with transparent objects. Experiments demonstrate that our method performs significantly better than the current state-of-the-art methods on both synthetic and real world data. In addition, our approach improves the inference speed by a factor of 20 compared to the previous best method, ClearGrasp [43]. Code will be released at https://research.nvidia.com/publication/2021-03_RGB-D-Local-Implicit.
学习用于看不见的对象实例分割的 RGB-D 特征嵌入
DOI：
--
发表时间：
2021
期刊：
Conference on Robot Learning CoRL
影响因子：
--
作者：
Xiang, Yu;Xie, Christopher;Mousavian, Arsalan;Fox, Dieter
通讯作者：
Fox, Dieter