MaterialGAN
MaterialGAN
复制标题
材质GAN
DOI：
--
复制
发表时间：
2020
影响因子：
6.2
通讯作者：
Shuang Zhao
中科院分区：
文献类型：
--
作者：
Yu Guo;Cameron Smith;Milovs Havsan;Kalyan Sunkavalli;Shuang Zhao
我们解决的问题，重建空间变化的BRDF从一个小的图像测量。这是一个基本的欠约束问题，以前的工作依赖于使用各种正则化先验或捕获许多图像来产生合理的结果。在这项工作中，我们提出了MaterialGAN，这是一种基于StyleGAN2的深度生成卷积网络，经过训练可以合成逼真的SVBRDF参数图。我们证明了MaterialGAN可以在逆向渲染框架中用作强大的材料先验：我们优化了其潜在表示，以生成与渲染时捕获图像的外观相匹配的材料图。我们证明了这个框架上的任务，重建SVBRDF从图像下使用手持移动的手机闪光灯照明。我们的方法成功地产生合理的材料地图，准确地再现目标图像，并优于以前的国家的最先进的材料捕获方法在合成和真实的数据的评估。此外，我们基于GAN的潜在空间允许高级语义材料编辑操作，例如生成材料变体和材料变形。
We address the problem of reconstructing spatially-varying BRDFs from a small set of image measurements. This is a fundamentally under-constrained problem, and previous work has relied on using various regularization priors or on capturing many images to produce plausible results. In this work, we present MaterialGAN, a deep generative convolutional network based on StyleGAN2, trained to synthesize realistic SVBRDF parameter maps. We show that MaterialGAN can be used as a powerful material prior in an inverse rendering framework: we optimize in its latent representation to generate material maps that match the appearance of the captured images when rendered. We demonstrate this framework on the task of reconstructing SVBRDFs from images captured under flash illumination using a hand-held mobile phone. Our method succeeds in producing plausible material maps that accurately reproduce the target images, and outperforms previous state-of-the-art material capture methods in evaluations on both synthetic and real data. Furthermore, our GAN-based latent space allows for high-level semantic material editing operations such as generating material variations and material morphing.
DOI：
10.1109/cvpr.2019.00568
发表时间：
2019-06
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Xiao Li;Yue Dong;P. Peers;Xin Tong
通讯作者：
Xiao Li;Yue Dong;P. Peers;Xin Tong
影响因子：
2.5
作者：
Guarnera, D.;Guarnera, G. C.;Glencross, M.
通讯作者：
Glencross, M.