The Frequency Discrepancy Between Real and Generated Images
The Frequency Discrepancy Between Real and Generated Images
复制标题
真实图像和生成图像之间的频率差异
DOI：
10.1109/access.2021.3100891
复制
发表时间：
2021
期刊：
影响因子：
3.9
通讯作者：
Huang Sibo
中科院分区：
文献类型：
--
作者：
Wang Yuehui;Cai Liyan;Zhang Dongyu;Huang Sibo
尽管生成对抗网络（GAN）取得了成功，但很少有工作关注频域中真实的和生成图像之间的差异。在这项工作中，我们提供了一个系统的分析这一主题。我们首先证明了频率差异的普遍存在，并进一步在具有不同频率分布的数据集和具有不同上采样方法的模型上进行了广泛的实验，以揭示差异的来源。实验结果表明：调整大小卷积不是去卷积的完美替代方案，并且在训练期间应该分开处理自然图像和非自然图像。基于这些研究，我们提供了一些新的解决方案来减少差异。最后，我们进一步展示了我们的解决方案的有效性可变自动编码器（VAE）。我们希望社会应该同样重视生成模型在空间和频率域的性能。
Despite the success of Generative Adversarial Networks (GANs), little work has focused on the discrepancy between real and generated images in frequency domain. In this work, we provide a systematic analysis on this topic. We first demonstrate the general existence of the frequency discrepancy and further perform extensive experiments both on datasets with various frequency distributions and models with different upsampling methods to reveal the sources of the discrepancy. Experimental results show that: resize-convolution is not a perfect alternative to deconvolution, and natural images and unnatural images should be treated separately during training. Based on these studies, we provide some novel solutions to reduce the discrepancy. Finally, we further show the effectiveness of our solutions on Variational Auto Encoders (VAEs). We hope that the community should pay equal attention to the performance of generative models both in spatial and frequency domain.
登录
查看更多内容
DOI：
10.1007/978-3-540-88693-8_59
发表时间：
2008-10
期刊：
--
影响因子：
--
作者：
Weiwei Zhang;Jian Sun-;Xiaoou Tang
通讯作者：
Weiwei Zhang;Jian Sun-;Xiaoou Tang
DOI：
10.1109/cvpr42600.2020.01429
发表时间：
2020-06
期刊：
2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Steven Liu;Tongzhou Wang;David Bau;Jun-Yan Zhu;A. Torralba
通讯作者：
Steven Liu;Tongzhou Wang;David Bau;Jun-Yan Zhu;A. Torralba
DOI：
--
发表时间：
2018-11
期刊：
--
影响因子：
--
作者：
Shengjia Zhao;Hongyu Ren;Arianna Yuan;Jiaming Song;Noah D. Goodman;Stefano Ermon
通讯作者：
Shengjia Zhao;Hongyu Ren;Arianna Yuan;Jiaming Song;Noah D. Goodman;Stefano Ermon
DOI：
--
发表时间：
2018-06
期刊：
--
影响因子：
--
作者：
Mahyar Khayatkhoei;Maneesh Kumar Singh;A. Elgammal
通讯作者：
Mahyar Khayatkhoei;Maneesh Kumar Singh;A. Elgammal
DOI：
--
发表时间：
2009
期刊：
--
影响因子：
--
作者：
A. Krizhevsky
通讯作者：
A. Krizhevsky