基于深度学习的交互式多视点视频技术研究

批准号:
61972323
项目类别:
面上项目
资助金额:
59.0 万元
负责人:
肖继民
依托单位:
学科分类:
计算机图像视频处理与多媒体技术
结题年份:
2023
批准年份:
2019
项目状态:
已结题
项目参与者:
肖继民
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
本课题将研究使用深度学习技术辅助和增强交互式多视点视频系统,允许用户通过身体位置或者其他信息随时、自由、流畅地切换观看视点,同时在有限的带宽下保证视频播放的清晰度和流畅性。首先,本课题将重点探索基于生成对抗网络的虚拟图像生成技术,进一步降低多视点视频在时域和空间域上的冗余,从而提高编码表示效率,并降低视点解码相互依赖性。然后,将通过最新的深度神经网络技术,深入研究适用于交互式多视点视频的新视点合成和空洞填补技术;同时,将通过研究不同噪声类型图像的信息融合技术,使得分别携带不同噪声的图像融合成为一个更高质量的图像。最后,我们将提出新的用户质量评测模型,根据该模型实现更优的交互式多视点视频的分片选择和码率分配。本课题最终将完成更真实、更高清、更流畅的交互式多视点视频系统,为视频技术的发展提供切实可行的新思路和新方法。
英文摘要
This project will explore deep learning based interactive multiview video systems, allowing users to freely and smoothly switch viewpoints anytime, through body position movement while ensuring the fidelity and smoothness of video playback with limited bandwidth. First of all, this project will focus on virtual viewpoint generation using generative adversarial networks to further reduce redundancy of multiview video in both temporal and spatial domains, thereby enhancing the encoding efficiency, and reducing the decoding interdependence. Then, by leveraging the latest deep learning technology, new viewpoint synthesis and hole filling technologies suitable for interactive multiview video will be studied. At the same time, information fusion technologies for images with different noise types will be studied to generate a higher quality image. Finally, we will propose a new user quality of experience model, based on which better segment selection and rate allocation will be achieved for interactive multiview video. Overall, the project will develop an interactive multiview video system with features of realistic, high definition and smooth playback, and to provide practical new ideas and new methods for future video technologies.
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2021
期刊:IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY
影响因子:8.4
作者:Hui Li;Jimin Xiao;Mingjie Sun;Eng Gee Lim;Yao Zhao
通讯作者:Yao Zhao
Real-Time Prediction of Simulator Sickness in Virtual Reality Games
虚拟现实游戏中模拟器晕眩的实时预测
DOI:--
发表时间:2023
期刊:IEEE Transactions on Games
影响因子:2.3
作者:Jialin Wang;Hai;D. Monteiro;Wenge Xu;Jimin Xiao
通讯作者:Jimin Xiao
DOI:10.1016/j.patcog.2022.108663
发表时间:2022
期刊:Pattern Recognition
影响因子:8
作者:Bingfeng Zhang;Jimin Xiao;Yunchao Wei;Kaizhu Huang;Shan Luo;Yao Zhao
通讯作者:Yao Zhao
DOI:10.1109/tpami.2021.3058684
发表时间:2021-02
期刊:IEEE Transactions on Pattern Analysis and Machine Intelligence
影响因子:23.6
作者:Mingjie Sun;Jimin Xiao;Eng Gee Lim;Si Liu;J. Y. Goulermas
通讯作者:Mingjie Sun;Jimin Xiao;Eng Gee Lim;Si Liu;J. Y. Goulermas
DOI:10.1109/tmm.2021.3087017
发表时间:2022-01-01
期刊:IEEE TRANSACTIONS ON MULTIMEDIA
影响因子:7.3
作者:Deng, Yong;Xiao, Jimin;Zhou, Steven Zhiying
通讯作者:Zhou, Steven Zhiying
面向工业缺陷检测的多模态通用大模型框架
- 批准号:--
- 项目类别:面上项目
- 资助金额:--
- 批准年份:2024
- 负责人:肖继民
- 依托单位:
基于DASH的交互式三维视频系统建模
- 批准号:61501379
- 项目类别:青年科学基金项目
- 资助金额:19.0万元
- 批准年份:2015
- 负责人:肖继民
- 依托单位:
国内基金
海外基金
