融合时空约束与先验知识的表演驱动的人脸动画生成

批准号:
61303143
项目类别:
青年科学基金项目
资助金额:
26.0 万元
负责人:
张剑
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2016
批准年份:
2013
项目状态:
已结题
项目参与者:
杨易、李娜、钟锋、何骅、卞向娟、廖桂华、温丽敏
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
近年来表演驱动的人脸动画生成逐渐成为人脸动画领域的研究热点。表演驱动的人脸动画涉及两个重要问题,即表情移植和表情驱动。目前这方面的研究存在三个主要问题:表情移植缺少时序约束;表情移植需要样本支撑;无法基于少量特征点进行高分辨率的人脸驱动。由于表情移植和驱动均可归结为保持数据集特定约束的半监督学习问题,本课题充分借鉴流形学习的思想,为人脸表情移植和驱动的时空约束提出统一的表示方法,并融合先验标注数据建立统一的半监督学习框架,在此基础上,结合图形图像处理技术实现表演驱动的二维和三维人脸动画生成。本课题的工作能在表情移植时有效保持表情固有的时序约束,使移植后的表情过渡更加真实自然,同时摆脱了传统表情移植方法需要样本支撑的束缚,具有更强的可推广性。本课题的方法能根据少量特征点驱动高分辨率人脸以产生高质量的表情效果。本课题的工作将为电影、动漫等应用提供方法支持和实现技术,具有重要研究意义和应用价值。
英文摘要
In recent years, performance-driven facial animation (PDFA) has become the research hotspot in the field of facial animation. PDFA comprises two topics, i.e., facial expression retargeting and facial expression driving. There exist three main problems in these two topiccs: facial expression retargeting lacks temporal constraint; facial expression retargeting needs sample support; high-resolution facial expression driving is unavailable only based on few feature points. Regarding facial expression retargeting and driving as semi-supervised learning problem which preserves certain data constraint, our project proposes a common representation for the spatio-temporal constraint in facial expression retargeting and driving based on the theory of manifold learning, and further builds a common semi-supervised learning framework with the aid of prior labeled data. We combine this framework with image and graphics processing technique to achieve 2D and 3D PDFA. Our work can preserve the temporal constraint during facial expression retargeting while overcome the sample dependency problem of traditional retargeting approach, thus has stronger generalization ability. Our framework can generate high quality facial expression only according to few facial feature points. Our work will provide method and technique support to the applications such as film-making and animation production, therefore has important theoretical significance and engineering practical value.
近年来表演驱动的人脸动画生成逐渐成为人脸动画领域的研究热点。表演驱动的人脸动画涉及两个重要问题,即表情移植和表情驱动。目前这方面的研究存在三个主要问题:表情移植缺少时序约束;表情移植需要样本支撑;无法基于少量特征点进行高分辨率的人脸驱动。由于表情移植和驱动均可归结为保持数据集特定约束的半监督学习问题,本项目借鉴流形学习的思想,为人脸表情移植和驱动的时空约束提出统一的表示方法,并融合先验标注数据建立统一的半监督学习框架,利用该学习框架实现表演驱动的人脸动画生成。根据项目研究的需要,我们在最优特征选择、基于单幅图像的三维人脸重建、基于特征的半监督的人脸形变、半监督的人脸表情移植(重定向)和半监督学习方法的求解等方面提出了一系列的理论与方法,解决了表演驱动的人脸动画生成过程中的一系列核心问题。同时,我们还利用项目研究过程中形成的方法解决了一些相关问题,如姿态无关的人脸识别和图像差异度度量。本项目不仅提出了若干核心算法,还形成了表演驱动的人脸动画系统并通过了鉴定。本项目的工作能在表情移植时有效保持表情固有的时序约束,使移植后的表情过渡更加真实自然,同时摆脱了传统表情移植方法需要样本支撑的束缚,具有更强的可推广性。该方法能根据少量特征点驱动高分辨率人脸以产生高质量的表情效果。本项目的工作将为电影、动漫等应用提供方法支持和实现技术,具有重要研究意义和应用价值。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Graph-based Clustering And Ranking for Diversified Image Searching
基于图的聚类和排序,用于多样化图像搜索
DOI:--
发表时间:2014
期刊:Multimedia Systems
影响因子:3.9
作者:Gaowen Liu;Sen Wang;Jian Zhang;Kai Zheng
通讯作者:Kai Zheng
DOI:10.1016/j.neucom.2014.08.039
发表时间:2015-02
期刊:Neurocomputing
影响因子:6
作者:Jian Zhang;Dapeng Tao;Xiangjuan Bian;Xiaosi Zhan
通讯作者:Jian Zhang;Dapeng Tao;Xiangjuan Bian;Xiaosi Zhan
DOI:10.1016/j.neucom.2015.03.033
发表时间:2015-10
期刊:Neurocomputing
影响因子:6
作者:Jian Zhang;Jun Yu;Jian Wan;Zhi-qiang Zeng
通讯作者:Jian Zhang;Jun Yu;Jian Wan;Zhi-qiang Zeng
DOI:--
发表时间:2014
期刊:中国图象图形学报
影响因子:--
作者:张剑;何骅;詹小四;肖俊
通讯作者:肖俊
Accurate human face pose recovery from single image through generic shape regularization
通过通用形状正则化从单张图像中准确恢复人脸姿势
DOI:10.1016/j.sigpro.2014.08.001
发表时间:2015-05-01
期刊:SIGNAL PROCESSING
影响因子:4.4
作者:Zhang, Jian;Sun, Rui;Hong, Chaoqun
通讯作者:Hong, Chaoqun
结合知识的神经网络在多模态数据学习中的应用
- 批准号:61972361
- 项目类别:面上项目
- 资助金额:59.0万元
- 批准年份:2019
- 负责人:张剑
- 依托单位:
国内基金
海外基金
