梯度域内光照感知的可视媒体无缝融合技术研究
批准号:
61303093
项目类别:
青年科学基金项目
资助金额:
25.0 万元
负责人:
谢志峰
依托单位:
学科分类:
计算机图形学与虚拟现实
结题年份:
2016
批准年份:
2013
项目状态:
已结题
项目参与者:
盛斌、丁友东、黄东晋、蓝建梁、丁守鸿、汪铖杰、杨律、吴学纯、徐林
中文摘要
本项目针对可视媒体融合过程中存在的提取精度不足、合成处理失真、环境协调困难等关键瓶颈问题,研究梯度域内光照感知的可视媒体无缝融合技术。首先,在梯度域内局部特征先验模型的基础上,研究基于局部梯度特征的可视媒体高精度软抠取方法,摆脱图像域内颜色特征对于抠取精度的束缚,进一步提升对象提取的准确性;然后,在光照特征感知模型的基础上,研究光照感知条件下的可视媒体克隆方法,消除局部失色、边界模糊等合成失真问题的影响,实现高保真度的可视媒体合成效果;最后,在局部特征保持的约束模型基础上,研究梯度域内基于特征保持的可视媒体协调方法,避免特征协调过程中局部信息的丢失,生成与目标环境协调一致的融合结果。本项目关于可视媒体无缝融合技术的研究符合人们对可视媒体资源深度开发的迫切需要,有望促进影视后期、动画创作、互动娱乐等数字内容产业的发展,具有重大研究与应用意义。
英文摘要
In order to resolve the bottlenecks of object extraction, compositing operation and environment harmonization, our research will focus on illumination-aware seamless composition of visual media in the gradient domain. First, we construct a gradient-domain-based prior model of local feature, and present a high-precision matting approach based on local gradient feature, which can overcome the limitations of color feature and further improve the accuracy of object extraction. Then, we construct an illumination-aware model, and present a novel cloning approach under the condition of illumination awareness, which can eliminate the artifacts of local discoloring and boundary smudging, and achieve the high-fidelity composition of visual media. Finally, we construct a constraint model of local feature, and present a new gradient-domain-based harmonization with local feature preserving, which can avoid the loss of local information and yield an environment-harmonized composition result. The project meets our urgent need for the advanced treatment of visual media resources. It is expected to promote the development of digital content industry including film, animation, entertainment and so on, which has the major significance of research and applications.
本项目针对可视媒体融合过程中存在的提取精度不足、合成处理失真、环境协调困难等关键问题,联合上海大学和上海交通大学的数字媒体技术研究团队,展开技术攻关与系统研发,取得了重要的研究进展和成果,解决了若干关键技术瓶颈,丰富了可视媒体编辑与处理研究领域内的理论方法,为实际的技术应用打下了坚实的研究基础,相关研究符合人们对可视媒体资源深度开发的迫切需要,促进了影视后期、动画创作、互动娱乐等数字内容产业的发展,具有重大研究与应用意义。. 围绕可视媒体无缝融合中对象提取、合成处理、环境协调等三方面的研究内容,课题组经过三年的不懈努力,提出和研发了一系列新技术、新方法和新系统,进一步提升了可视媒体无缝融合的质量与效率,圆满实现了项目预定的研究目标。具体的完成情况如下:.(1)在对象提取方面,提出了基于多尺度测量与稀疏性的本征图像分解、基于L0稀疏优化的本征估计、Lasso整脸形状回归的人脸配准、基于相对变分的边缘检测等新方法,大幅提升了对象提取的精度;.(2)在合成处理方面,提出了颜色协调的图像克隆、基于人像字典集的卡通自动生成、面向人像卡通的动态表情自动生成、基于位置与表情估计的实时2.5D表情动画生成等新方法,有效增强了合成处理的效果;.(3)在环境协调方面,提出了高保真度的颜色转移、基于细节字典学习的照片表面增强、细节保持的色调映射、基于块匹配与低秩矩阵的破损画面修复等新方法,进一步提高了环境协调的质量;.(4)在应用示范方面,研发了可视媒体高效编辑与增强、人像卡通自动生成、交互式动画快速创作、老电影数字化高效修复等新系统,应用在腾讯公司、水晶石、上海电影技术厂等单位的实际业务中,取得了巨大的经济与社会效益。. 本项目发表和录用高水平学术论文22篇,其中SCI/EI收录10篇(含Computer Graphics Forum,The Visual Computer, Journal of Computer Science and Technology等国际知名期刊),出版专著1本,申请专利4项,软件著作权1项,培养博士生4名,硕士生8名,荣获上海市科技进步二等奖1项。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
DOI:
--
发表时间:
2015
期刊:
计算机辅助设计与图形学学报
影响因子:
--
作者:
[杨律, 丁守鸿, 谢志峰, 马利庄]
通讯作者:
马利庄
DOI:
10.1631/jzus.c1400102
发表时间:
2014-09
期刊:
Journal of Zhejiang University SCIENCE C
影响因子:
--
作者:
[Xiao Lin;Yinglan Ma;Lizhuang Ma;Rui-ling Zhang]
通讯作者:
Xiao Lin;Yinglan Ma;Lizhuang Ma;Rui-ling Zhang
DOI:
--
发表时间:
2014
期刊:
电视技术
影响因子:
--
作者:
[倪辰怡, 黄东晋, 丁友东]
通讯作者:
丁友东
Intrinsic image estimation using near-L0 sparse optimization
使用近 L0 稀疏优化的本征图像估计
DOI:
--
发表时间:
2016
期刊:
The Visual Computer
影响因子:
--
作者:
[Shouhong Ding, Bin Sheng, Zhifeng Xie, Lizhuang Ma]
通讯作者:
Lizhuang Ma
DOI:
--
发表时间:
2014
期刊:
计算机工程与应用
影响因子:
--
作者:
[彭太乐, 张文俊, 丁友东, 郭桂芳]
通讯作者:
郭桂芳
共 15 条
基于可学习频率和提示学习的多元复杂场景解析研究
-
批准号:--
-
项目类别:省市级项目
-
资助金额:0.0万元
-
批准年份:2025
-
负责人:谢志峰
-
依托单位:
国内基金
海外基金