适用于无约束互联网照片集的光度计算机视觉算法
结题报告
批准号:
61872012
项目类别:
面上项目
资助金额:
65.0 万元
负责人:
施柏鑫
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
王策、张琳、麻岱迁、何斌、郭天宇、杨朝晖、陈汉亭、何诗怡
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
图像的形成源于相机对光的度量。光源发出的入射光线在场景中传播,通过物体表面形状和反射率决定的反射路径和强度进入相机。光度计算机视觉算法通过逆向分析图像形成的过程,估计环境光照、物体的形状和反射率,为其他计算机视觉问题提供场景的本征物理特性估计。传统光度计算机视觉算法需要用经过辐射度响应标定的相机在严格控制光照的实验室环境中拍摄数据,因此无法直接从互联网这一规模最大、种类最多的图像宝库获取输入资源。本课题拟将光度计算机视觉算法从实验室带到自然环境,研究其物理成像模型在互联网照片集上的表达,结合网络大数据和最新的深度神经网络技术挖掘数据驱动的正则约束,开发适用于互联网照片集的光度计算机视觉算法,解决一个预处理(相机辐射度响应标定)和三个重要元素估计(形状、光照、反射率)的问题,在保证光度计算机视觉算法输出有物理可解释性的高准确度结果的同时,呈现其更广泛的实用性。
英文摘要
An image is formed by using a camera to measure the light. The incident light from the source transports in the scene, and the reflected light is received by the camera through the interaction with the shape and reflectance of an object. The photometric methods in computer vision inversely analyze the image formation model to estimate the lighting condition, shape and reflectance of an object, which intrinsically provide physical property of the scene to various computer vision applications. Conventional photometric methods require a radiometrically calibrated camera to capture data in a lab setup with controlled lighting condition, which makes it difficult to take Internet photo collections – the largest and richest resource for images – as input. This proposal aims to extend photometric methods from controlled lab data to deal with Internet photo collections by exploring the physical image formation model applied to wild images and utilizing data-driven prior learned with latest convolutional neural networks as regularization. The key problems to be solved include one pre-processing (radiometric calibration) and the estimation of three key components (lighting, shape, and reflectance), which may potentially bring photometric methods with its advantages in physics-inspired high accuracy from lab to wild environment for broader practicability.
适用于互联网照片集的光度计算机视觉算法能够为场景理解等高层计算机视觉问题以及AR、VR等元宇宙应用提供与场景物理属性相关的重要信息。传统光度计算机视觉算法需要在可控的光学暗室中拍摄数据,使其难以在一般日常的应用场景中发挥性能优势。本项目结合网络图像大数据与深度学习技术,研究光度成像物理模型在互联网照片集上的表达,在保证光度计算机视觉算法维持物理可解释性与高准确度结果的同时,突破应用场景的局限,进而拓展算法的实用性与泛化性。.项目围绕光度计算机视觉算法的一项预处理、三项重要元素估计问题进行:1)提出了适用于互联网上照片集的相机辐射度响应标定方法;2)构建了多视角获取复杂材质物体反射率形状的光度立体视觉算法并公开了基准评测数据集,开发了基于隐式符号距离函数的物体形状表示方法,为在互联网照片集中表达形状提供了新思路;3)提出了全景高动态范围图像中关于镜面反射观测的几何一致性与光度一致性约束,探明了含有镜面反射的自然场景中几何、光度成像模型的对齐分析方法;4)实现了利用互联网人脸照片集同时估计光度成像模型中关于形状、反射率、光照的三个关键成分。.上述研究工作共发表期刊论文8篇,均发表在TPAMI、TIP等IEEE汇刊以及顶级期刊IJCV;共发表会议论文20篇,均发表在CVPR、ICCV、ECCV等顶级会议。申请发明专利4项,其中3项已获授权。项目负责人施柏鑫在项目执行期间入选北京智源人工智能研究院(BAAI)“青年科学家”(2020年),获得日本大川研究助成奖励(中国大陆当年共5人,2021年)。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Multi-View Photometric Stereo: A Robust Solution and Benchmark Dataset for Spatially Varying Isotropic Materials
多视图光度立体:针对空间变​​化的各向同性材料的强大解决方案和基准数据集
DOI:10.1109/tip.2020.2968818
发表时间:2020-01-01
期刊:IEEE TRANSACTIONS ON IMAGE PROCESSING
影响因子:10.6
作者:Li, Min;Zhou, Zhenglong;Tan, Ping
通讯作者:Tan, Ping
Patch-Based Uncalibrated Photometric Stereo Under Natural Illumination
自然光照下基于补丁的未校准光度立体
DOI:10.1109/tpami.2021.3115229
发表时间:2021-09
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)
影响因子:--
作者:Heng Guo;Zhipeng Mo;Boxin Shi;Feng Lu;Sai-Kit Yeung;Ping Tan;Yasuyuki Matsushita
通讯作者:Yasuyuki Matsushita
DOI:10.1109/tip.2019.2894963
发表时间:2019-01
期刊:IEEE Transactions on Image Processing (TIP)
影响因子:--
作者:Qian Zheng;Ajay Kumar;Boxin Shi;Gang Pan
通讯作者:Gang Pan
Hybrid Face Reflectance, Illumination, and Shape From a Single Image
来自单个图像的混合面部反射率、照明和形状
DOI:10.1109/tpami.2021.3080586
发表时间:2021-05
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)
影响因子:--
作者:Yongjie Zhu;Chen Li;Si Li;Boxin Shi;Yu-Wing Tai
通讯作者:Yu-Wing Tai
Deep Photometric Stereo for Non-Lambertian Surfaces
非朗伯表面的深度光度立体
DOI:10.1109/tpami.2020.3005397
发表时间:2022-01-01
期刊:IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE
影响因子:23.6
作者:Chen, Guanying;Han, Kai;Wong, Kwan-Yee K.
通讯作者:Wong, Kwan-Yee K.
城市场景三维感知与语义表达方法研究
  • 批准号:
    --
  • 项目类别:
    重点项目
  • 资助金额:
    295万元
  • 批准年份:
    2021
  • 负责人:
    施柏鑫
  • 依托单位:
国内基金
海外基金