Framework for Generation and Removal of Multiple Types of Adverse Weather from Driving Scene Images.
Framework for Generation and Removal of Multiple Types of Adverse Weather from Driving Scene Images.
复制标题
DOI：
10.3390/s23031548
复制
发表时间：
2023-01-31
期刊：
影响因子：
--
通讯作者：
中科院分区：
文献类型：
--
作者：
天气变化的图像数据的分布可能会导致现有的视觉算法在评估过程中的性能下降。在训练数据中添加额外的目标域样本或使用预训练的图像恢复方法，如去雾，去雨和去雪，以提高输入图像的质量是两个有前途的解决方案。在这项工作中，我们提出了多重天气翻译GAN（MWTG），这是一个基于CycleGAN的双重用途框架，可以同时学习天气生成和从图像数据中删除天气。MWTG由四个使用周期一致性约束的GAN组成，这些GAN使用非对称方法在有雾，下雨，下雪和晴朗的天气之间执行域转换任务。为了增加网络容量，我们采用了空间特征变换（SFT）层来融合从天气层提取的特征，天气层包含来自先前生成器的高级域信息。此外，我们收集了在各种天气条件下记录的未配对的真实驾驶数据集，称为恶劣天气下的真实驾驶场景（RDSBW）。我们使用RDSBW和综合天气效应的城市景观变化定性和定量评估MWTG，例如，雾城风光。我们的实验结果表明，MWTG可以生成逼真的天气清晰的图像，也准确地去除噪声的天气图像。此外，SOTA行人检测器ASCP实现了令人印象深刻的增益图像恢复后，使用建议MWTG方法的检测精度。
Weather variation in the distribution of image data can cause a decline in the performance of existing visual algorithms during evaluation. Adding additional samples of target domain to training data or using pre-trained image restoration methods such as de-hazing, de-raining, and de-snowing, to improve the quality of input images are two promising solutions. In this work, we propose Multiple Weather Translation GAN (MWTG), a CycleGAN-based, dual-purpose framework that simultaneously learns weather generation and its removal from image data. MWTG consists of four GANs constrained using cycle consistency that carry out domain translation tasks between hazy, rainy, snowy, and clear weather, using an asymmetric approach. To increase network capacity, we employ a spatial feature transform (SFT) layer to fuse the features extracted from the weather layer, which contains high-level domain information from the previous generators. Further, we collect an unpaired, real-world driving dataset recorded under various weather conditions called Realistic Driving Scenes under Bad Weather (RDSBW). We qualitatively and quantitatively evaluate MWTG using the RDSBW and the variation of Cityscapes that synthesize weather effects, eg., FoggyCityscape. Our experimental results suggest that MWTG can generate realistic weather in clear images and also accurately remove noise from weather images. Furthermore, the SOTA pedestrian detector ASCP is shown to achieve an impressive gain in detection precision after image restoration using the proposed MWTG method.
登录
查看更多内容
DOI：
10.1109/tpami.2018.2882478
发表时间：
2020-03-01
影响因子：
23.6
作者：
Berman, Dana;Treibitz, Tali;Avidan, Shai
通讯作者：
Avidan, Shai
DOI：
10.1109/tpami.2019.2956516
发表时间：
2021-05-01
影响因子：
23.6
作者：
Cai, Zhaowei;Vasconcelos, Nuno
通讯作者：
Vasconcelos, Nuno
DOI：
10.1109/tpami.2010.168
发表时间：
2011-12-01
影响因子：
23.6
作者：
He, Kaiming;Sun, Jian;Tang, Xiaoou
通讯作者：
Tang, Xiaoou
影响因子：
2.5
作者：
Huang, Qi-Xing;Guibas, Leonidas
通讯作者：
Guibas, Leonidas
使用层先验的单图像雨条纹分解
影响因子：
10.6
作者：
Li, Yu;Tan, Robby T.;Brown, Michael S.
通讯作者：
Brown, Michael S.