面向单肖像图像视频光影绘制的高分辨率人脸材质与几何重建研究
批准号:
61902014
项目类别:
青年科学基金项目
资助金额:
25.0 万元
负责人:
吴洪宇
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
基于图像的光影绘制生成是计算机图形学、计算机视觉等领域的研究热点与难点。本项目面向肖像图像视频的高逼真光影绘制需求,立足相关方向的国际技术前沿,针对“单相机条件”、“毛孔级人脸材质”、“皮肤褶皱级几何”以及“基于图像的光影绘制”等技术难点,重点开展多维度高分辨率人脸材质与几何数据集构建、皮肤属性驱动的高分辨率人脸材质几何生成、基于单个图像视频的肖像光影逼真绘制生成等方面的关键技术方法研究。力争在皮肤属性驱动的人脸皮肤材质参数化模型、基于图像的人脸材质几何生成网络、肖像视频光影绘制等方面的理论方法创新。并构建覆盖度较广的高分辨率人脸材质与几何数据集,研究开发相应的软件工具。本项目的研究工作在影视制作、互动娱乐、安防监控等行业领域具有较广阔的应用前景,例如:数字化演员的自动构建、肖像图像光影编辑、针对人脸识别的多光照训练集构建等。
英文摘要
Image based portrait lighting is a hot research topic in computer graphics and computer vision. The research purpose of this project is the high-fidelity portrait image/video relighting and the challenges of this projects are: single view, facial reflectance model with pore level detail and facial wrinkles modelling. Therefore, the primary works of this project are: Data set of high-resolution facial geometry and material, Facial reflectance and micro geometry generation network based on skin attribute and Single portrait image/video relighting. The technical contributions of this project will be: Facial reflectance procedure model based on facial skin property, and Portrait video relighting. Furthermore, this project will build a HD facial reflectance and micro geometry data set and develop the image-based portrait relighting software. The research contributions of this project will find wide application in the field of film production, interactive entertainment, public security and so on. The typical applications are automatic generation of digital actor, portrait image illumination editing and multi-light face data set for face recognition.
数字化身/虚拟演员在影视制作、互联网直播、数字娱乐、智能医疗等领域有着广泛的应用。随着信息行业的不断发展,应用场景对数字化身的呈现逼真度要求越来越高,数字化身的高逼真呈现是虚拟现实、计算机图形学以及计算摄像学等科学研究领域的国际前沿的研究方向。本项目针对虚拟肖像光影逼真呈现涉及的皮肤材质重建、几何形状处理、图像光影迁移技术开展研究。提出了一种基于单幅微距图像的人脸表面微小几何重建方法,提高了人脸皮肤材质重建便捷度与效率;提出了多模态数据引导的人脸三维重建方法,能够重建出输入人脸的三维模型;人脸多尺度网格分割与重组方法,实现了不同三维脸型的组合生成;人脸多尺度网格形变方法,实现了三维人脸的精确配准;基于图像空间的人脸光影迁移方法,实现肖像图像逼真的光影生成效果。..项目成果已在口腔手术模拟系统、腹腔镜手术模拟系统、虚拟问诊系统进行了集成,提高了三维肖像呈现的逼真度和软体形变的真实感。相关的模拟器已在全国多所医学院进行了推广应用,在逼真呈现与软体形变效果方便得到了应用单位积极正面评价。依托本项目共发表了学术论文4篇,获得了2021电子学会科技进步一等奖,2022中国产学研合作促进会产学研合作创新成果奖一等奖,获得国家发明专利授权1项,计算机软件著作权3项,培养硕士研究生7名,其中3名同学获得北航硕士学位。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1016/j.vrih.2021.09.003
发表时间:2021-10
期刊:Virtual Real. Intell. Hardw.
影响因子:--
作者:H. Wu;Haonan Yu;Fan Ye;Jian Sun;Yuan Gao;Ke Tan;Aimin Hao
通讯作者:H. Wu;Haonan Yu;Fan Ye;Jian Sun;Yuan Gao;Ke Tan;Aimin Hao
Real-Time Laparoscopic Cholecystectomy Simulation Using a Particle-Based Physical System
使用基于粒子的物理系统进行实时腹腔镜胆囊切除术模拟
DOI:10.23919/csms.2022.0009
发表时间:2022-06
期刊:COMPLEX SYSTEM MODELING AND SIMULATION
影响因子:--
作者:Hongyu Wu;Fan Ye;Yang Gao;Yu Cong;Aimin Hao
通讯作者:Aimin Hao
DOI:10.3981/j.issn.1000-7857.2020.06.020
发表时间:2020
期刊:科技导报
影响因子:--
作者:吴洪宇;金鑫
通讯作者:金鑫
Modeling yarn-level geometry from a single micro-image
从单个微图像对纱线级几何结构进行建模
DOI:10.1631/fitee.1800693
发表时间:2019-09
期刊:Frontiers of Information Technology & Electronic Engineering
影响因子:3
作者:Wu Hong-yu;Chen Xiao-wu;Zhang Chen-xu;Zhou Bin;Zhao Qin-ping
通讯作者:Zhao Qin-ping
国内基金
海外基金















{{item.name}}会员


