数据驱动的可视媒体跨域交互合成

批准号:
61902012
项目类别:
青年科学基金项目
资助金额:
26.0 万元
负责人:
汪淼
依托单位:
学科分类:
F0209.计算机图形学与虚拟现实
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
承载视觉信息的媒体类型称为可视媒体,包括:图像、视频和数字几何等。近年来,可视媒体合成取得了极大的进展,以深度学习为代表的数据驱动方法成为可视媒体合成的主流方法。可视媒体跨域合成旨在由输入的抽象语义信息合成具象的可视媒体内容,在基于文字的图像合成、基于草图的图像合成方面已取得初步成果,成为了新的研究热点。然而,现有的可视媒体跨域合成技术存在语义难对应、交互灵活性低、合成结果风格不可控等问题。.本项目拟面向数据驱动的可视媒体跨域交互合成,研究文字驱动的高逼真度图像合成、基于文字编辑的视频交互合成和基于生成对抗网络的风格一致性图像合成,解决数据驱动的可视媒体跨域交互合成中抽象语义的结构表达与内容合成、可视媒体跨域智能交互、风格一致性内容合成三个关键科学问题,实现交互友好、可扩展性高的个性化可视媒体内容生成,促进可视媒体内容创作与大规模生产。
英文摘要
The types of media that deliver visual information are called visual media, including image, video, digital geometry, etc. In recent years, visual media synthesis has made great progress, and data-driven methods such as deep learning have become the mainstream method in visual media synthesis. Cross-domain visual media synthesis aims to synthesize photo-realistic visual media content from abstract input semantic information. It has achieved good results in text-based image synthesis and sketch-based image synthesis and has become a new research topic. However, the existing cross-domain synthesis technology of visual media has problems such as poor semantic correspondence, low interaction flexibility, and uncontrollable synthesis style in the results...This project focuses on data-driven cross-domain interactive visual media synthesis, with research in text-based high-fidelity image synthesis, text-driven interactive video synthesis and style-consistent image synthesis based on generative adversarial networks. The three key scientific problems to solve are semantic figuration, intelligent interaction, and style-consistent image synthesis in cross-domain interactive visual media synthesis. The goal of this project is to promote visual media content creation for everyone.
近年来,可视媒体内容生成技术取得了极大的进展,以深度学习为代表的数据驱动方法成为可视媒体编辑与合成的主流方法。现有的可视媒体跨域合成技术存在语义难对应、交互灵活性低、合成结果风格不可控等问题。本项目面向数据驱动的可视媒体跨域交互合成,在以下方面取得了突破:1)针对抽象语义的结构表达与内容合成这一关键问题,提出了语音驱动的高真实感人像视频合成方法,针对输入的一段目标人像视频,由任意角色的语音驱动其面部表情和动作重新定制,使其动作自然且与语音内容同步,具有高真实感;2)针对跨模态可视媒体合成与交互编辑这一问题,提出了文本驱动的视频剪辑方法和角色动画生成方法,生成高质量视频和动画结果;3)针对基于生成对抗网络的一致性图像合成问题,提出了从单张复杂室内场景图像中估计光照信息的方法,使得虚拟物体渲染具有光照一致性。此外,本项目对虚拟现实中的内容高效浏览和导航问题进行了探索:针对全景视频的高效浏览问题,提出了基于内容感知的多相机路径规划及全景视频交互浏览方法,保证了全景视频浏览的高效性;针对沉浸式虚拟环境导航问题,提出了基于重定向运动的虚拟环境高效导航方法,开源了重定向行走工具及基准集。依托该项目,研究团队共发表学术论文14篇。其中期刊论文6篇(SCIE检索5篇)、会议论文8篇;CCF-A类期刊和会议论文6篇。培养硕士研究生6名。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
A Comprehensive Review of Redirected Walking Techniques: Taxonomy, Methods, and Future Directions
重定向行走技术的全面回顾:分类、方法和未来方向
DOI:10.1007/s11390-022-2266-7
发表时间:2022-05
期刊:Journal of Computer Science and Technology
影响因子:0.7
作者:Yi-Jun Li;Frank Steinicke;Miao Wang
通讯作者:Miao Wang
DOI:10.1016/j.vrih.2021.06.003
发表时间:2021-12
期刊:Virtual Real. Intell. Hardw.
影响因子:--
作者:Yijun Li;Miao Wang;De-Rong Jin;Frank Steinicke;Shimin Hu;Qinping Zhao
通讯作者:Yijun Li;Miao Wang;De-Rong Jin;Frank Steinicke;Shimin Hu;Qinping Zhao
DOI:10.1111/cgf.14415
发表时间:2021-10
期刊:Computer Graphics Forum
影响因子:2.5
作者:Jia-Qi Zhang;Xiang Xu;Zhi-Meng Shen;Ze‐Huan Huang;Yang Zhao;Yan-Pei Cao;Pengfei Wan;Miao Wang
通讯作者:Jia-Qi Zhang;Xiang Xu;Zhi-Meng Shen;Ze‐Huan Huang;Yang Zhao;Yan-Pei Cao;Pengfei Wan;Miao Wang
DOI:10.1007/s41095-020-0162-z
发表时间:2020-03
期刊:Computational Visual Media
影响因子:6.9
作者:Miao Wang;Xu-Quan Lyu;Yijun Li;Fang-Lue Zhang
通讯作者:Miao Wang;Xu-Quan Lyu;Yijun Li;Fang-Lue Zhang
DOI:10.1109/tvcg.2020.2970045
发表时间:2020-01
期刊:IEEE Transactions on Visualization and Computer Graphics
影响因子:5.2
作者:Miao Wang;Xiao-Nan Fang;Guo-Wei Yang;Ariel Shamir;Shi-Min Hu
通讯作者:Shi-Min Hu
基于用户交互上下文分析的增强现实场景内容智能生成
- 批准号:62372025
- 项目类别:面上项目
- 资助金额:50.00万元
- 批准年份:2023
- 负责人:汪淼
- 依托单位:
国内基金
海外基金
