面向高清立体显示的超分辨率树木图像构建技术研究

批准号:
61672464
项目类别:
面上项目
资助金额:
62.0 万元
负责人:
董天阳
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2020
批准年份:
2016
项目状态:
已结题
项目参与者:
范菁、程时伟、王佳星、姚佳洁、王辉、程强、朱浩楠、尚跃辉、陈东方
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
由于公告牌技术、纹理树冠都是以2D图像来模拟整棵树木或树冠部分的三维模型,由于缺少精确的深度信息影响了大规模场景高清立体显示的视觉效果。为了从2D图像快速构建超分辨率的树木图像并在高清设备中进行立体显示,本项目提出了一种面向高清立体显示的超分辨率树木图像构建方法。该方法以2D彩色树木图像和从2D图像中提取的低分辨率树木深度图作为先验知识,利用2D彩色图像中的像素特征、对应深度信息的关联,以及树木的结构语义信息,构建出立体树木深度信息的优化模型;然后,根据前景和背景两者的深度一致性,在估计背景视差后对树木深度图进行调整和视差重建,并利用能量项优化方法对树木模型的三角形网格实施变形,使立体树木的大小和外形得到调整,实现场景深度和树木形状的多元适配;最后,利用环境感知的融合方法实现立体树木与背景中3D场景的融合,从而使得立体树木与背景场景能够自然地融合并进行立体显示,呈现逼真的立体感。
英文摘要
The technologies of Billboard and Texture-lobes both simulate 3D model of whole tree or crown by using 2D images. Because of lacking precise depth information, the visual effects of large-scale HD stereoscopic scenes will be affected. In order to build super-resolution images by 2D tree images and display them in HD devices at a high rate of speed, this project presents a reconstruction method of super-resolution tree images for HD stereo display. In this method, the 2D color images of trees and low-resolution depth maps that extracted from 2D images both known as a priori knowledge firstly; then it makes use of pixel characteristics of 2D color image, associated depth information and semantic information of tree structures to build an optimized model for tree depth information. After that, according to the depth consistency of background and foreground, it estimates background disparity before tree depth map adjustment and parallax reconstruction, and adjusts the scale and shape of 3D images by using triangular meshes warping and energy term optimization, so the scene depth and tree shape are adapted automatically. At last, the method of environment-aware fusion for stereo scene and trees is applied to merge 3D background scene and tree images naturally.
为了提高大规模场景立体显示的视觉效果,我们必须在2D场景转3D场景,以及3D图像重建方面有所突破。树木是大规模场景的重要组成部分之一,树木的立体显示效果会影响场景的真实感。然而,常用的公告牌技术、纹理树冠都是以2D图像来模拟整棵树木或树冠部分的三维模型,由于缺少精确的深度信息影响了大规模场景高清立体显示的视觉效果。为了从2D图像快速构建超分辨率的树木图像并在高清设备中进行立体显示,本项目提出了一种面向高清立体显示的超分辨率树木图像构建方法。该方法以2D彩色树木图像和从2D图像中提取的低分辨率树木深度图作为先验知识,利用2D彩色图像中的像素特征、对应深度信息的关联,以及树木的结构语义信息,构建出立体树木深度信息的优化模型;然后,根据前景和背景两者的深度一致性,在估计背景视差后对树木深度图进行调整和视差重建,并利用能量项优化方法对树木模型的三角形网格实施变形,使立体树木的大小和外形得到调整,实现场景深度和树木形状的多元适配;最后,利用环境感知的融合方法实现立体树木与背景中3D场景的融合。实验结果表明,本项目提出的面向高清立体显示的超分辨率树木图像构建方法能够使得立体树木与背景场景自然地融合,获得较好的真实感和沉浸感。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Progressive Cascaded Convolutional Neural Networks for Single Tree Detection with Google Earth Imagery
使用 Google 地球图像进行单树检测的渐进级联卷积神经网络
DOI:10.3390/rs11151786
发表时间:2019-07
期刊:Remote Sensing
影响因子:5
作者:Dong Tianyang;Shen Yuqi;Zhang Jian;Ye Yang;Fan Jing
通讯作者:Fan Jing
DOI:--
发表时间:2019
期刊:中国图象图形学报
影响因子:--
作者:董天阳;杨丽锦;张鑫鹏
通讯作者:张鑫鹏
Multi-layered tree crown extraction from LiDAR data using graph-based segmentation
使用基于图的分割从 LiDAR 数据中提取多层树冠
DOI:10.1016/j.compag.2020.105213
发表时间:2020-03
期刊:Computers and Electronics in Agriculture
影响因子:8.3
作者:Dong Tianyang;Zhang Xinpeng;Ding Zhanfeng;Fan Jing
通讯作者:Fan Jing
DOI:--
发表时间:2018
期刊:计算机科学
影响因子:--
作者:朱浩楠;许明敏;沈瑛
通讯作者:沈瑛
Single-Tree Detection in High-Resolution Remote-Sensing Images Based on a Cascade Neural Network
基于级联神经网络的高分辨率遥感图像单树检测
DOI:10.3390/ijgi7090367
发表时间:2018-09-01
期刊:ISPRS INTERNATIONAL JOURNAL OF GEO-INFORMATION
影响因子:3.4
作者:Dong Tianyang;Zhang Jian;Fan Jing
通讯作者:Fan Jing
基于视觉感知优化的Web3D植物模型重构与自导航技术研究
- 批准号:61202202
- 项目类别:青年科学基金项目
- 资助金额:23.0万元
- 批准年份:2012
- 负责人:董天阳
- 依托单位:
国内基金
海外基金
