TP-GAN: Simple Adversarial Network With Additional Player for Dense Depth Image Estimation
TP-GAN: Simple Adversarial Network With Additional Player for Dense Depth Image Estimation
复制标题
TP-GAN：带有附加播放器的简单对抗网络，用于密集深度图像估计
DOI：
10.1109/access.2023.3272292
复制
发表时间：
2023
期刊：
影响因子：
3.9
通讯作者：
Yasushi Kanazawa
中科院分区：
文献类型：
--
作者：
Andi Hendra;Yasushi Kanazawa
我们提出了一种简单而强大的单目深度估计技术，通过使用生成对抗网络（GAN）的优势从单个RGB输入图像合成深度图图像。我们采用了一个额外的子模型，称为细化提取局部深度特征，然后将其与全局场景信息从生成器联合收割机，以提高GAN的性能相比，标准的GAN架构方案。值得注意的是，生成器是第一个学习合成深度图像的玩家。第二个播放器，分类器，对生成的深度进行分类。与此同时，第三个播放器，即细化器，增强最终重建的深度。作为GAN模型的补充，我们应用条件生成网络（cGAN）来引导生成器将输入图像映射到相应的深度表示。我们进一步将结构化相似性（SSIM）作为GAN训练中生成器和细化器的损失函数。通过广泛的实验验证，我们在公开的室内NYU Depth v2和KITTI室外数据上证实了我们的策略的性能。在NYU depth v2数据集上的实验结果表明，我们提出的方法在阈值准确率（）上达到了96.0%的最佳性能，在KITTI数据集上的所有阈值上的准确率都是第二好的。我们发现，我们提出的方法相比，许多现有的单目深度估计策略，并证明了相当大的改进，尽管其简单的网络架构的图像深度估计的准确性。
We present a simple yet robust monocular depth estimation technique by synthesizing a depth map image from a single RGB input image using the advantage of generative adversarial networks (GAN). We employ an additional sub-model termed refiner to extract local depth features, then combine it with the global scene information from the generator to improve the GAN’s performance compared to the standard GAN architectural scheme. Notably, the generator is the first player to learn to synthesize depth images. The second player, the discriminator, classifies the generated depth. In the meantime, the third player, the refiner, enhances the final reconstructed depth. Complementing the GAN model, we apply a conditional generative network (cGAN) to lead the generator in mapping the input image to the respective depth representation. We further incorporate a structured similarity (SSIM) as our loss function for the generator and refiner in GAN training. Through extensive experiment validation, we confirmed the performance of our strategy on the publicly indoor NYU Depth v2 and KITTI outdoor data. Experiment results on the NYU depth v2 dataset show that our proposed approach achieves the best performance by 96.0% on threshold accuracy () and the second-best accuracy on all thresholds on the KITTI dataset. We discovered that our proposed method compares favorably to numerous existing monocular depth estimation strategies and demonstrates a considerable improvement in the accuracy of image depth estimation despite its simple network architecture.
登录
查看更多内容
DOI：
10.1007/978-3-030-01228-1_3
发表时间：
2018-09
期刊：
ArXiv
影响因子：
--
作者：
Yuliang Zou;Zelun Luo;Jia-Bin Huang
通讯作者：
Yuliang Zou;Zelun Luo;Jia-Bin Huang
使用深度神经网络的左右一致性半监督单目深度估计
DOI：
--
发表时间：
2019
期刊：
IEEE International Conference on Robotics and Biomimetics
影响因子：
--
作者：
A. Amiri;S. Loo;Hong Zhang
通讯作者：
Hong Zhang
用于单图像深度估计的较小残差网络
影响因子：
0.7
作者：
HENDRA Andi;KANAZAWA Yasushi
通讯作者：
KANAZAWA Yasushi
具有简化深度预测的行人检测
DOI：
10.1109/itsc.2018.8569987
发表时间：
2018
期刊：
2018 21st International Conference on Intelligent Transportation Systems (ITSC)
影响因子：
--
作者：
Taewan Kim;M. Motro;P. Lavieri;Saharsh Samir Oza;Joydeep Ghosh;C. Bhat
通讯作者：
C. Bhat
Focal-WNet：一种统一卷积和注意力来进行深度估计的架构
DOI：
10.1109/i2ct54291.2022.9824488
发表时间：
2022
期刊：
2022 IEEE 7th International conference for Convergence in Technology (I2CT)
影响因子：
--
作者：
G. Manimaran;J. Swaminathan
通讯作者：
J. Swaminathan