Identifying Surface BRDF From a Single 4-D Light Field Image via Deep Neural Network
Identifying Surface BRDF From a Single 4-D Light Field Image via Deep Neural Network
复制标题
通过深度神经网络从单个 4-D 光场图像中识别表面 BRDF
DOI：
10.1109/jstsp.2017.2728001
复制
发表时间：
2017-07
影响因子：
7.5
通讯作者：
Hao Zhixiang
中科院分区：
文献类型：
--
作者：
Lu Feng;He Lei;You Shaodi;Chen Xiaowu;Hao Zhixiang
双向反射分布函数（BRDF）定义了光如何在表面斑块上反射以产生表面外观，因此，建模/识别 BRDF 对于计算机视觉和图形中的各种任务非常重要。然而，此类任务通常是不适定的，或者需要从不同视角捕获图像的大量工作。在本文中，我们通过提供捕获和使用单个光场图像的新技术来关注远程 BRDF 类型识别问题。关键是光场图像通过单次拍摄同时捕获空间和角度信息，并且角度信息可以实现四维（4-D）BRDF的有效采样。为了实现这个想法，我们提出了基于卷积神经网络的架构，用于从单个 4-D 光场图像中进行 BRDF 识别。具体来说，引入了StackNet和Ang-convNet。 StackNet将光场图像的角度信息堆叠在独立维度中，而Ang-convNet使用角度滤波器对角度信息进行编码。此外，我们提出了一个大型光场 BRDF 数据集，其中包含 47 650 个高质量 4-D 光场图像块，具有不同的 3-D 形状、BRDF 和照明。实验结果表明，使用所提出的方法可以显着提高 BRDF 识别的准确性。
Bidirectional reflectance distribution function (BRDF) defines how light is reflected at a surface patch to produce the surface appearance, and thus, modeling/recognizing BRDFs is of great importance for various tasks in computer vision and graphics. However, such tasks are usually ill-posed or require heavy labor on image capture from different viewing angles. In this paper, we focus on the problem of remote BRDF type identification, by delivering novel techniques that capture and use a single light field image. The key is that a light field image captures both the spatial and angular information by a single shot, and the angular information enables effective samplings of the four-dimensional (4-D) BRDF. To implement the idea, we propose convolutional neural network based architectures for BRDF identification from a single 4-D light field image. Specifically, a StackNet and an Ang-convNet are introduced. The StackNet stacks the angular information of the light field images in an independent dimension, whereas the Ang-convNet uses angular filters to encode the angular information. In addition, we propose a large light field BRDF dataset containing 47 650 high-quality 4-D light field image patches, with different 3-D shapes, BRDFs, and illuminations. Experimental results show significant accuracy improvement in BRDF identification by using the proposed methods.
登录
查看更多内容
DOI：
10.1109/tpami.2018.2799222
发表时间：
2019-02
影响因子：
23.6
作者：
Boxin Shi;Zhipeng Mo;Zhe Wu;Dinglong Duan;Sai-Kit Yeung;P. Tan
通讯作者：
Boxin Shi;Zhipeng Mo;Zhe Wu;Dinglong Duan;Sai-Kit Yeung;P. Tan
DOI：
10.1109/cvpr.2012.6247681
发表时间：
2012-06
期刊：
2012 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Stephen Lombardi;K. Nishino
通讯作者：
Stephen Lombardi;K. Nishino
影响因子：
1.3
作者：
Si Li;Boxin Shi
通讯作者：
Si Li;Boxin Shi
SymPS：用于形状和光源估计的 BRDF 对称引导光度立体
DOI：
10.1109/tpami.2017.2655525
发表时间：
2018
影响因子：
23.6
作者：
Lu Feng;Chen Xiaowu;Sato Imari;Sato Yoichi
通讯作者：
Sato Yoichi
DOI：
10.1109/jstsp.2017.2747126
发表时间：
2017-10-01
影响因子：
7.5
作者：
Wu, Gaochang;Masia, Belen;Liu, Yebin
通讯作者：
Liu, Yebin