课题基金基金详情
基于生成对抗模型的鲁棒人脸画像合成研究
结题报告
批准号:
61802324
项目类别:
青年科学基金项目
资助金额:
26.0 万元
负责人:
张声传
依托单位:
学科分类:
F0210.计算机图像视频处理与多媒体技术
结题年份:
2021
批准年份:
2018
项目状态:
已结题
项目参与者:
金泰松、郭锋、林贤明、林绍辉、刘弘、周奕毅、陈福海、沈云航
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
在现实生活中人脸图像的表达形式是多样的,人脸照片与画像之间的转换作为异质图像的重要研究内容,正逐渐成为公共安全、社交媒体以及视觉计算等领域的研究热点。然而,人脸画像合成面临的合成速度、合成质量、以及鲁棒性等挑战,一直阻挠着人脸画像合成的实际应用。本项目针对这三个挑战展开高质量高效率的鲁棒人脸画像合成研究,拟建立基于生成对抗学习的一体化框架,探索将人脸画像合成问题放到深度学习的框架下进行解决,包含三个相互耦合的研究点:(1)基于条件生成对抗网络的人脸画像合成;(2)基于对偶生成对抗网络的人脸画像合成;(3)基于生成对抗融合策略的鲁棒人脸画像合成。本项目拟形成一套基于深度学习框架的快速、高质量、鲁棒的人脸画像合成系统,推动人脸画像理解与重建的理论突破,奠定人脸画像合成在刑侦破案和数字娱乐等重大应用的技术基础,并促进相应理论研究在相关科学应用领域的发展。
英文摘要
In real life, the expression of face images is variable. As a significant research topic of heterogeneous image, transformation between face photo-sketch pairs is becoming an emerging research focus among public security, social media and vision computing. However, the challenges in face sketch synthesis, such as the speed of synthesis, the quality of synthesis, as well as the robustness of synthesis, have been restricting the practical applications of face sketch synthesis. In this project, we target at tackling above challenges towards robust face sketch synthesis with high speed and quality. Our key innovation is a generative adversarial network learning framework, which handles with face sketch synthesis under the framework of deep learning. Our project covers three seamlessly-coupled points: (1) a conditional generative adversarial network for face sketch synthesis; (2) a coupled generative adversarial network for face sketch synthesis; and (3) a robust face sketch synthesis via generative adversarial fusion strategy. The output of our project is a robust face sketch synthesis framework with high speed and quality via deep learning framework. This framework has the potential to benefit law enforcement and digital entertainment, push forward the theoretical breakthrough in face image analysis and reconstruction, as well as further advancing the theoretical development in the related fields.
在现实生活中人脸图像的表达形式是多样的,人脸照片与画像作为异质图像的重要组成部分,正逐渐成为公共安全、社交媒体以及视觉计算等领域的研究热点。然而,人脸画像合成面临的合成速度、合成质量、以及鲁棒性等挑战,一直阻挠着人脸画像合成的实际应用。本项目针对这三个挑战展开高质量高效率的鲁棒人脸画像合成研究,搭建了基于对偶生成对抗网络的人脸画像合成框架,设计了用于人脸画像合成质量评价的感知测度,并提出了基于层次风格分解的图像到图像的翻译,拓展了人脸画像合成方法的通用性。本项目形成一套基于深度学习框架的快速、高质量、鲁棒的人脸画像合成系统,推动人脸画像理解与重建的理论突破,奠定人脸画像合成在刑侦破案和数字娱乐等重大应用的技术基础。此外,本项目还深挖了在深度学习背景下影响合成任务的各种潜在的低层视觉任务。具体研究内容及其意义总结如下:1)画像合成及图像翻译:探讨画像合成及不同模态图像的迁移等问题。2)目标检测和语义分割:为基于人脸部件的画像合成提供可能。3)视觉问答及图像理解:为基于文本描述的画像合成提供可能。4)神经网络压缩及加速:为端部署及快速的画像合成提供可能。5)神经网络的对抗攻击:为安全可靠的画像合成提供可能。6)神经网络的可解释性:为可解释的画像合成结果提供可能。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1109/tmm.2021.3140001
发表时间:2023
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Jipeng Wu;R. Ji;Qiang Wang;Shengchuan Zhang;Xiaoshuai Sun;Yan Wang;Mingliang Xu;Feiyue Huang
通讯作者:Jipeng Wu;R. Ji;Qiang Wang;Shengchuan Zhang;Xiaoshuai Sun;Yan Wang;Mingliang Xu;Feiyue Huang
DOI:--
发表时间:2021
期刊:导航定位与授时
影响因子:--
作者:张声传;喻松林;纪荣嵘
通讯作者:纪荣嵘
DOI:10.1016/j.patcog.2021.108006
发表时间:2021-10
期刊:Pattern recognition
影响因子:8
作者:Wu J;Zhang S;Li X;Chen J;Xu H;Zheng J;Gao Y;Tian Y;Liang Y;Ji R
通讯作者:Ji R
深度表征与模型的定量可解释性研究
  • 批准号:
    62176222
  • 项目类别:
    面上项目
  • 资助金额:
    57万元
  • 批准年份:
    2021
  • 负责人:
    张声传
  • 依托单位:
国内基金
海外基金