课题基金基金详情
超高清全景视频的无线分发机制研究
结题报告
批准号:
61702335
项目类别:
青年科学基金项目
资助金额:
24.0 万元
负责人:
霍永凯
依托单位:
学科分类:
F0210.计算机图像视频处理与多媒体技术
结题年份:
2020
批准年份:
2017
项目状态:
已结题
项目参与者:
洪国伟、张沛昌、李兴泉、朱弘亮、刘小华、薛雅利、张秋丹、苏美、唐高杨
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
全景视频给人以浸入式和在场式视觉体验,从而被广泛认为是未来的视频格式。但是,其超高清的多视角视频格式,需要很大的网络带宽,对发送端设备、终端设备及数据网络造成很大的资源消耗。本课题提出预测式交互全景视频研究方案:设计全景视频可扩展式编码方案;解决信源信道编码的多维数学优化问题;创新性的对全新的全景终端用户行为进行数学建模和预测。其预先传输用户感兴趣的视频区域码流,使得保证接收端低延迟的前提下,最大化的降低分发全景视频数据的代价。课题预期为未来全景视频的无线分发提供技术基础。
英文摘要
Panoramic video enables immersive and presence visual experience, which is expected to be the future video format. However, extremely large bitstream is necessary to represent the multiple ultra-high definition (UHD) views of panoramic video, which exhausts the resources of the source host, the network and the terminals. In this project, we propose the so-called predicted interactive panoramic video research methodology, which investigates the solutions of a flexible panoramic video coding, multi-dimensional optimization problem for joint source-channel coding, modelling and prediction of the novel terminal user behavior. Specifically, we predict the region of interest (ROI) of the users and deliver the corresponding bitstreams in advance, thereby minimizing the consumed resources without imposing extra delay. This research will pave the road for the wireless delivery of the future panoramic video.
全景视频提供360°沉浸式的观影体验。由于不同观看者的兴趣不同,他们在同一帧中会产生不同的视口选择。然而可见的视口视频信号只占用完整球面的信号的一部分,因此,传输完整的球面视频将浪费大量的带宽资源。因此,可以通过预测交互的方式传输全景视频,以此降低需要传输的数据量,提高全景视频的质量。.在本项目中,课题组采用如下解决方案:首先,预测观看者的未来的视口;然后,对视口内的全景视频信号采用不均等信道编码来分配带宽资源,以此优化接收端的视频质量和用户体验。在接收端,对视频质量进行增强,以提升视觉效果。课题组提出了两种基于深度学习的视口预测方案:基于物体跟踪和基于球面注意力机制;一种非均等错误保护算法;一种视频质量提升算法。算法中,LSTM网络综合利用观看者的历史视口轨迹、视频内容、物体跟踪来进行视口预测。仿真结果表明我们提出的方案相较于已有的预测误差,准确率可提高33.5%。针对全景视频的无线传输,课题组提出不均等错误保护兴趣区域算法(ROI-UEP)。其中,我们提出加权峰值信噪比(WPSNR)用于评估重建全景视频的质量。仿真结果表明ROI-UEP方案获得了9.4dB的WPSNR提升。基于深度学习的视频质量提升算法可以提升视频质量0.63dB。. 这些研究成果可以提高无线接收端全景视频的质量,降低所需的传输带宽和能量消耗。本项目旨在发表高水平的科研论文,研究成果获得了国内外同行的认可。截止目前,项目课题组共发表期刊论文6篇,发表会议论文4篇,出版专著《虚拟现实——从零基础到超现实》(23万字),获得虚拟现实二等奖一项,申请国家发明专利 3 项,其中两项已进入实审阶段。培养了 2 名毕业硕士,1名博士和 5 名在读硕士。. 总之,本项目建立了一套完整的基于全景视频视口预测的无线全景视频传输系统。其可以有效的提高全景视频效率,降低传输系统的资源消耗。因此,其研究成果可以广泛的服务于未来全景视频监控、分发、分化旅游、游戏等领域,为我国的相关产业发展提供技术基础。.
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Multi-Exposure Decomposition-Fusion Model for High Dynamic Range Image Saliency Detection
用于高动态范围图像显着性检测的多重曝光分解融合模型
DOI:10.1109/tcsvt.2020.2985427
发表时间:2020-04
期刊:IEEE Transactions on Circuits and Systems for Video Technology
影响因子:8.4
作者:Xu Wang;Zhenhao Sun;Qiudan Zhang;Yuming Fang;Lin Ma;Shiqi Wang;Sam Kwong
通讯作者:Sam Kwong
User Oriented Transmit Antenna Selection in Massive Multi-User MIMO SDR Systems.
大规模多用户 MIMO SDR 系统中面向用户的发射天线选择
DOI:10.3390/s20174867
发表时间:2020-08-28
期刊:Sensors (Basel, Switzerland)
影响因子:--
作者:Zhong S;Feng H;Zhang P;Xu J;Huang L;Yuan T;Huo Y
通讯作者:Huo Y
Unequal Error Protection Aided Region of Interest Aware Wireless Panoramic Video
不等差错保护辅助感兴趣区域感知无线全景视频
DOI:10.1109/access.2019.2921880
发表时间:2019
期刊:IEEE Access
影响因子:3.9
作者:Yongkai Huo;Xu Wang;Peichang Zhang;Jianmin Jiang;Lajos Hanzo
通讯作者:Lajos Hanzo
A recurrent video quality enhancement framework with multi-granularity frame-fusion and frame difference based attention
具有多粒度帧融合和基于帧差异的注意力的循环视频质量增强框架
DOI:10.1016/j.neucom.2020.12.019
发表时间:2021-01-04
期刊:NEUROCOMPUTING
影响因子:6
作者:Huo, Yongkai;Lian, Qiyan;Jiang, Jianmin
通讯作者:Jiang, Jianmin
Learning to Explore Saliency for Stereoscopic Videos Via Component-Based Interaction
学习通过基于组件的交互探索立体视频的显着性
DOI:10.1109/tip.2020.2985531
发表时间:2020-04
期刊:IEEE Transactions on Image Processing
影响因子:10.6
作者:Zhang Qiudan;Wang Xu;Wang Shiqi;Sun Zhenhao;Kwong Sam;Jiang Jianmin
通讯作者:Jiang Jianmin
基于非平面卷积神经网络的全景视频内容理解研究
  • 批准号:
    --
  • 项目类别:
    省市级项目
  • 资助金额:
    10.0万元
  • 批准年份:
    2021
  • 负责人:
    霍永凯
  • 依托单位:
国内基金
海外基金