大视角三维光场显示中基于无监督深度学习的密集视点生成方法研究
结题报告
批准号:
61905017
项目类别:
青年科学基金项目
资助金额:
20.0 万元
负责人:
陈铎
依托单位:
学科分类:
F0501.光学信息获取、显示与处理
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
三维光场显示,因其视角大、分辨率高等特点,受到众多研究人员的青睐。但是,三维光场显示技术依然面临着很多挑战,其中之一就是光场显示中视点数量采集不足的问题。. 因此,本课题将开展大视角三维光场显示中基于无监督深度学习的密集视点生成方法研究,采集稀疏光场视点,合成密集虚拟视点,验证显示三维光场效果。构建大视角光场的最小化离散抽样机理,实现大视角三维光场的稀疏视点采集;提出大视角连续光场的恢复原理,实现大视角三维光场的密集视点生成;利用自主研发的三维光场设备进行显示验证;评估显示结果,优化调整采集及合成中多项参数。.本课题利用无监督深度学习的方法,将采集的稀疏光场视点合成为虚拟的密集光场视点。相比于有监督网络,可以在保证视点质量的前提下,不需要大量的虚拟视点作为训练目标,并且生成的虚拟位置能够灵活调整。本课题的实现将极大的简化光场采集的难度,为光场显示的广泛应用打下基础。
英文摘要
Three-dimensional (3D) light field display, as one of the potential directions of future display technology, has still attracted many researchers' attention, because of its large view-angle, high resolution and real-time rendering. However, 3D light field display still faces many challenges. One of them is the number of viewpoint is insufficient for the light field display..Here, the research of multi-view synthesis for light field display based on unsupervised deep learning is present. The principle of minimum discrete sample of light field is established to achieve sparse views collection. The principle of continuous light field restoration is proposed to achieve dense views synthesis. A self-manufactured light field display is used to verify the displaying result. Based on the performance, parameters of view capture and view synthesis are adjusted and optimized. .The method of unsupervised deep learning is used to synthesize the virtual dense light field viewpoints with sparse light field viewpoints. Compared with the supervised network, it does not decrease the quality of synthesized result, without requiring a large number of training targets, and the virtual location can be flexibly adjusted. The realization of this research will greatly simplify the construction of light field capture, and lay a foundation for the wide application of light field display.
本项目为了突破三维光场显示中采集视点数量不足的困难,从视点内容相关性出发,研究了无监督的视点生成算法,在采集少量的视点前提下就可以拥有高质量密集生成的视点,满足三维光场显示的需求。为了生成虚拟视点的信息,我们从相邻视点特征相似和视觉几何强相关这个角度出发,探索了无监督虚拟视点合成方法,大幅度提升了虚拟视点的生成质量,满足了三维光场显示的需求。为了提升视点合成质量,我们充分研究了水平视差对于两视点生成的影响,利用卷积神经网络的拟合功能,有效提升了视点匹配精度,错误单个像素的占比指标也稳定在10%以下,视点生成质量稳定在PSNR28dB以上;另外,针对任意姿态摆放的多视点摄像头采集方案,在考虑多视点的重聚焦特性后,我们将视点质量进一步提升,PSNR均大于30dB;最后,密集视点生成方法在三维光场显示器上完成了实时采集及显示实验验证。基于上述成果,本项目发表SCI论文6篇,专利5项。该项目将在元宇宙等行业拥有广泛前景。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Self-supervised stereo depth estimation based on bi-directional pixel-movement learning
基于双向像素运动学习的自监督立体深度估计
DOI:10.1364/ao.439465
发表时间:2022
期刊:Applied Optics
影响因子:1.9
作者:Huachun Wang;Xinzhu Sang;Duo Chen;Peng Wang;Xiaoqian Ye;Shuai Qi;Binbin Yan
通讯作者:Binbin Yan
DOI:10.1117/1.oe.60.12.123103
发表时间:2021-12
期刊:Optical Engineering
影响因子:1.3
作者:Xiao Guo;Xinzhu Sang;Duo Chen;Peng Wang;Huachun Wang;Binbin Yan
通讯作者:Binbin Yan
Real-time dense-view imaging for three-dimensional light-field display based on image color calibration and self-supervised view synthesis
基于图像颜色校准和自监督视图合成的三维光场显示实时密集视图成像
DOI:10.1364/oe.461789
发表时间:2022
期刊:The Optical Society
影响因子:--
作者:Xiao Guo;Xinzhu Sang;Binbin Yan;HUACHUN WANG;Xiaoqian Ye;shuo chen;Huaming Wan;Ningchi Li;Zhehao Zeng;Duo Chen;Peng Wang;Shujun Xing
通讯作者:Shujun Xing
Superpixel Guided Network for Three-Dimensional Stereo Matching
用于三维立体匹配的超像素引导网络
DOI:10.1109/tci.2021.3139328
发表时间:2022
期刊:IEEE Transactions on Computational Imaging
影响因子:5.4
作者:Xiaoqian Ye;Xinzhu Sang;Duo Chen;Peng Wang;Kuiru Wang;Binbin Yan;Boyang Liu;Huachun Wang;Shuai Qi
通讯作者:Shuai Qi
DOI:10.1109/tci.2021.3069785
发表时间:2021
期刊:IEEE TRANSACTIONS ON COMPUTATIONAL IMAGING
影响因子:5.4
作者:Wang Huachun;Sang Xinzhu;Chen Duo;Wang Peng;Yan Binbin;Qi Shuai;Ye Xiaoqian;Yao Tong
通讯作者:Yao Tong
国内基金
海外基金