基于场景精细感知对抗的虚假图像合成研究
结题报告
批准号:
61902400
项目类别:
青年科学基金项目
资助金额:
28.0 万元
负责人:
彭勃
学科分类:
F0206.信息安全
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
图像合成技术发展迅猛,在丰富人们文化创作需求的同时也造成了虚假图像及谣言泛滥成灾。如今的合成技术基本能够欺骗人眼感官,但是在更为精细的场景结构及规律层面仍然存在较多瑕疵,很容易被有经验的专家或针对性的取证方法识破,且缺乏较为客观有效的定量化质量评估方法。本项目研究基于场景精细感知对抗的虚假图像合成理论与技术,以场景信息精细感知为理论支撑,提出保持真实场景中精细结构及规律的高质量自动化图像合成方法,包括图像拼接、操控及生成等,并基于图像取证技术设计有效的合成质量评估方法及通过对抗进一步提升合成质量。通过本项目的研究,希望提高虚假图像合成的质量,发挥图像取证技术在合成研究中的评判和促进作用,进一步推动图像合成与取证的学科交叉及融合发展。
英文摘要
Image synthesis technology is developing fast, satisfying people’s demands for creative activities but in the same time making fake images and rumors a huge problem. The synthesis technology can now easily bypass the check of human eyes, but they still have many artifacts especially in aspects of more fine-grained structures and physical laws of the natural scene, which make them relatively easy to be identified by skilled experts or some image forensics methods. Another problem is the shortage of effective and quantitative methods for the quality evaluation of synthesized images. This proposal aims to study the theory and methods of image synthesis that is based on fine-grained perception of scene information and adversary. The effective sensing of scene information is the theoretic foundation of this proposal, and we propose some high quality automatic image synthesis methods that can keep realistic fine structures and laws of the scene. These synthesis methods include image splicing, manipulation and generation. This proposal further studies image forensics methods as an effective evaluation method for image synthesis and uses forensics as an adversary to improve image synthesis quality. Through this proposal, we hope to improve the quality for image synthesis methods, to introduce image forensics for the evaluation and improvement of synthesis and finally promote the cross study of image synthesis and forensics fields.
近年来,包括图像拼接、操控和生成在内的各种虚假图像合成新技术发展迅猛。虽然当前的图像合成基本能够欺骗人眼感官,但是在更为精细的场景结构及规律层面仍然存在较多瑕疵,很容易被有经验的专家或针对性的取证方法识破,且缺乏较为客观有效的定量化质量评估方法。图像合成与图像取证这两种技术的研究是密不可分的,一方的进步必定在动机和原理上促进另一方的进步。本项目基于场景精细感知理论及技术的研究,提出高质量、自动化的虚假图像合成新方法,实现场景自洽的图像拼接、高质量的图像操控以及精细化的图像生成等多种新合成技术。研究图像取证技术用作合成评估、对抗的策略,解决图像合成研究缺乏客观有效的质量评估标准这一关键问题,并在对抗中进一步提升图像合成的质量。.在本项目的支持下,项目组发表高水平论文10篇,获得专利授权3项,获广电应用一等奖1项,组织比赛2次,成果获得了较好的学术影响力。重要成果如下:在场景精细感知方面,提出一种基于单视角图片学习物体三维形状的深度模型,通过对抗领域混淆损失学习视角无关的形状表征空间,获得了更准确的单目三维重建精度,论文发表于Neurocomputing期刊;在虚假图像合成新方法方面,提出了一种视频换脸与表情操控的统一框架,基于三维人脸分解与图像翻译网络(image translation networks)将两个任务统一为一个模型,实现了高质量灵活的人脸图像操控,论文发表与T-CSVT期刊;在图像合成方面还提出了基于多层统计量迁移的自监督人体图像生成方法、三维感知的人脸妆容鲁棒迁移方法、简笔画引导的人体图像生成方法,发表了CVPR、ACM MM、ICPR等会议文章;合成评估与对抗方面,组织了两届深度伪造博弈比赛(DFGC-2021, DFGC-2022),分为换脸合成赛道和伪造检测赛道进行相互评测与对抗,提出了丰富的评估指标和数据集,总结论文发表于国际会议IJCB’2021和IJCB’2022. 通过本项目的研究,在场景规律及精细结构保持的层面上提高了虚假图像合成的水平,解决了目前图像合成中的一些关键挑战和问题,进一步推动了正向图像合成及反向图像取证的融合发展。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1016/j.neucom.2020.10.089
发表时间:2020-04
期刊:Neurocomputing
影响因子:6
作者:Bo Peng;Wei Wang-;Jing Dong;T. Tan
通讯作者:Bo Peng;Wei Wang-;Jing Dong;T. Tan
DOI:--
发表时间:2021
期刊:现代电子技术
影响因子:--
作者:卞明运;彭勃;王伟;董晶
通讯作者:董晶
DOI:--
发表时间:2022
期刊:现代电子技术
影响因子:--
作者:张时润;彭勃;王伟;董晶
通讯作者:董晶
A Unified Framework for High Fidelity Face Swap and Expression Reenactment
高保真面部交换和表情重演的统一框架
DOI:10.1109/tcsvt.2021.3106047
发表时间:2022-06-01
期刊:IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY
影响因子:8.4
作者:Peng, Bo;Fan, Hongxing;Lyu, Siwei
通讯作者:Lyu, Siwei
视觉深度合成质量评估研究
国内基金
海外基金