基于对抗深度学习的下一代视频编码方法研究

批准号:
61901459
项目类别:
青年科学基金项目
资助金额:
24.0 万元
负责人:
朱林卫
依托单位:
学科分类:
F0108.多媒体通信
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
视频编码是解决视频数据存储和传输的有效手段,也是当前国内外研究的热点问题。然而,传统的视频编码技术大都采用全遍历暴力搜索最优编码参数和凭统计经验以手工设计预测函数的编码方案,这在很大程度上限制了视频编码性能的提升。本项目拟从计算机视觉和人工智能的角度出发,将信号处理领域问题模型化为人工智能领域问题,即将视频编码中的关键模块,预测编码、模式决策和运动补偿建模为图像修复、分类和超分辨率重建问题,利用神经网络为工具进行求解,同时探索编码失真环境下神经网络的攻击与防御,进而设计与训练对抗神经网络以应用于下一代视频编码标准,实现快速决策、自适应、智能化的高效编码,最终取得智能视频编码优化理论与方法的创新。
英文摘要
Video coding is an effective solution for the video storage and transmission, and it is also a hot research topic. However, brute force search for the optimal coding parameter and manually designed prediction functions are utilized in the traditional video coding, which greatly limits the improvement of video coding performance. From the perspective of computer vision and artificial intelligence, the key modules in video coding, including predictive coding, mode decision and motion compensation can be modeled as image inpainting, classification and super-resolution respectively, where the deep learning tool will be adopted. In addition, the attack and defense of neural network with coding distortion will be exploited to design and train the adversarial neural networks for versatile video coding, aims to achieve the theoretical innovation and technical breakthroughs of intelligent video coding.
目前,以视频为载体的多媒体数据成为了信息时代发展的关键,并开始占据主导地位、呈现爆炸式增长的趋势,给存储和传输带来了前所未有的挑战。为了缓解视频数据的爆炸式增长,下一代视频编码标准已经制定,但凭统计经验手工设计的方案限制了编码性能的提升。因此,如何利用学习工具在有限带宽条件下最大化视频重建质量成为了视频编码优化的关键。本项目针对亮度、色度以及模式预测模块,实现从信号处理到人工智能的问题建模,解决现有方法遇到的瓶颈。.针对亮度预测,提出了基于生成对抗网络的图像修复方法,以有效消除空间冗余并生成灵活的预测模式。亮度预测被建模为图像修复任务,通过周围邻域的重构像素填充缺失部分,学习好的神经网络被集成到视频编解码器,并执行率失真优化以获得更好的编码性能。.针对色度预测,提出了基于深度学习的帧内色度预测方法,以充分利用亮度和色度分量之间的高度相关性提升性能。色度预测问题被模型化为上色任务,包括亮度下采样和色度预测两个子网络,它们被联合优化以充分利用空间和交叉域信息。此外,线性预测结果被用作色度初始化以提高性能,并将量化参数作为特征输入网络,消除压缩失真带来的负面影响。.针对模式预测,提出了智能化的帧内模式预测方法,以跳过帧内模式编码模块减少编码比特。全遍历候选帧内模式获取最佳模式的过程被建模为多分类任务,并设计了神经网络框架以适应不同的量化参数和可变编码块(包括非对称编码块)。特别地,手工特征和学习特征相结合的方式被用来弥补它们各自的局限性。.综上所述,本项目以多媒体视频快速发展及广泛应用为契机,针对现有视频编码模块的局限性问题,从人工智能的角度出发,以海量视频/图像为数据基础,研究结合对抗神经网络的视频编码方法,最终实现智能视频编码优化理论与方法的创新。预期成果能应用于下一代视频编码标准及视频压缩的各个相关领域,提高我国在视频信号处理领域的国际竞争力。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Deep Learning-Based Intra Mode Derivation for Versatile Video Coding
基于深度学习的多功能视频编码的帧内模式推导
DOI:10.1145/3563699
发表时间:2022
期刊:ACM Transactions on Multimedia Computing, Communications, and Applications
影响因子:--
作者:Linwei Zhu;Yun Zhang;Na Li;Gangyi Jiang;Sam Kwong
通讯作者:Sam Kwong
Highly Efficient Multiview Depth Coding Based on Histogram Projection and Allowable Depth Distortion
基于直方图投影和允许深度畸变的高效多视图深度编码
DOI:10.1109/tip.2020.3036760
发表时间:2020-11
期刊:IEEE Transactions on Image Processing
影响因子:10.6
作者:Yun Zhang;Linwei Zhu;Raouf Hamzaoui;Sam Kwong;Yo-Sung Ho
通讯作者:Yo-Sung Ho
Deep Learning-Based Perceptual Video Quality Enhancement for 3D Synthesized View
基于深度学习的 3D 合成视图感知视频质量增强
DOI:10.1109/tcsvt.2022.3147788
发表时间:2022-08
期刊:IEEE Transactions on Circuits and Systems for Video Technology
影响因子:8.4
作者:Huan Zhang;Yun Zhang;Linwei Zhu;Weisi Lin
通讯作者:Weisi Lin
Deep Learning-Based Chroma Prediction for Intra Versatile Video Coding
基于深度学习的帧内多功能视频编码色度预测
DOI:10.1109/tcsvt.2020.3035356
发表时间:2021-08
期刊:IEEE Transactions on Circuits and Systems for Video Technology
影响因子:8.4
作者:Linwei Zhu;Yun Zhang;Shiqi Wang;Sam Kwong;Xin Jin;Yu Qiao
通讯作者:Yu Qiao
Texture-Aware Spherical Rotation for High Efficiency Omnidirectional Intra Video Coding
用于高效全向视频内编码的纹理感知球形旋转
DOI:10.1109/tcsvt.2022.3192665
发表时间:2022-12
期刊:IEEE Transactions on Circuits and Systems for Video Technology
影响因子:8.4
作者:Jinyong Pi;Yun Zhang;Linwei Zhu;Jinzhi Lin;Yo-Sung Ho
通讯作者:Yo-Sung Ho
基于神经网络压缩和可分级策略的HDR视频编码方法研究
- 批准号:n/a
- 项目类别:省市级项目
- 资助金额:10.0万元
- 批准年份:2022
- 负责人:朱林卫
- 依托单位:
国内基金
海外基金
