课题基金基金详情
360度全景视频流式传输中的码率自适应机制研究
结题报告
批准号:
61902257
项目类别:
青年科学基金项目
资助金额:
27.0 万元
负责人:
张磊
依托单位:
学科分类:
F0210.计算机图像视频处理与多媒体技术
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
作为一种新兴的多媒体形式,360度视频提供了一种独特的全景观看体验,得到了越来越多的用户关注。由于360度全景视频相比于传统视频有更多的像素,而用户往往只有有限的视区,现行的传输完整帧的方式是比较浪费带宽资源的。所以图块化传输被提出,用来选择性地传输视频画面的一部分。对此,360度全景视频对其流式传输带来了新的挑战。首先,用户行为,反应在其视区和感兴趣区上,对用户体验质量有重要影响,其次,受限于硬件能力,移动终端已经呈现无法满足未来多媒体内容处理的趋势。在新的形势下,本项目拟研究360度全景视频流式传输中的码率自适应机制。从对用户行为分析和预测出发,对用户体验质量建立表达模型。以优化用户主观体验为目标,结合用户行为和硬件能力等因素,运用模型预测控制和强化学习的方法,探索码率自适应算法的设计。本项目的成功实施可以对虚拟现实等移动平台上的多媒体应用起到有力的支撑和推动作用,具有广阔的应用前景。
英文摘要
As a new type of multimedia content, 360-degree video, which provides a unique panorama viewing experience, is increasingly gaining users' attention. As a 360-degree video usually has much more pixels than a conventional video and a user can only have a limited viewport, streaming the whole frame, the current widely used approach, is wasteful in terms of bandwidth resource. Tiled-based streaming is thus proposed to selectively transmit a part of the frame. 360-degree video has also brought new challenges to the tiled-based streaming system. First, the user's quality-of-experience (QoE) is largely affected by his/her watching behavior during the playback as his/her Field-of-View (FoV) and Region-of-Interest (ROI) changes. Second, limited by their hardware capability, mobile terminals cannot well-support the processing of future multimedia content. To handle these challenges, in this project, we target to investigate the rate adaptation scheme in 360-degree video streaming. Based on the analysis and the prediction of the user behaviors, we will propose the mathematical model for user QoE. With the consideration of multiple factors, including user behavior and hardware capability, to optimize the user QoE, we will explore the design of rate adaptation algorithms through two approaches, Model Predictive Control and reinforcement learning. To sum up, the results of this project can provide better support to the multimedia services on mobile terminals, e.g., virtual reality, and has the great potential to be applicable to a wide range of future multimedia applications.
作为一种新兴的多媒体形式,360度视频提供了一种独特的全景观看体验,得到了越来越多的用户关注。由于360度全景视频相比于传统视频有更多的像素,而用户往往只有有限的视区,现行的传输完整帧的方式是比较浪费带宽资源的。所以图块化传输被提出,用来选择性地传输视频画面的一部分。对此,360度全景视频对其流式传输带来了新的挑战。首先,用户行为,反应在其视区和感兴趣区上,对用户体验质量有重要影响,其次,受限于硬件能力,移动终端已经呈现无法满足未来多媒体内容处理的趋势。在新的形势下,本项目拟研究360度全景视频流式传输中的码率自适应机制。从对用户行为分析和预测出发,对用户体验质量建立表达模型。以优化用户主观体验为目标,结合用户行为和硬件能力等因素,运用模型预测控制和强化学习等方法,探索码率自适应算法的设计。本项目的成功实施可以对虚拟现实等移动平台上的多媒体应用起到有力的支撑和推动作用,具有广阔的应用前景。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Edge Learning for Surveillance Video Uploading Sharing in Public Transport Systems
公共交通系统监控视频上传共享的边缘学习
DOI:10.1109/tits.2020.3008420
发表时间:2020-07
期刊:IEEE Transactions on Intelligent Transportation Systems
影响因子:8.5
作者:Laizhong Cui;Dongyuan Su;Yipeng Zhou;Lei Zhang;Yulei Wu;Shiping Chen
通讯作者:Shiping Chen
DOI:10.1016/j.dcan.2022.03.003
发表时间:2022-03
期刊:Digital Communications and Networks
影响因子:7.9
作者:Kuanishbay Sadatdiynov;Laizhong Cui;Lei Zhang;Joshua Zhexue Huang;Salman Salloum;Mohammad Sultan Mahmud
通讯作者:Mohammad Sultan Mahmud
Edge-Based Video Stream Generation for Multi-Party Mobile Augmented Reality
用于多方移动增强现实的基于边缘的视频流生成
DOI:10.1109/tmc.2022.3232543
发表时间:2024-01
期刊:IEEE Transactions on Mobile Computing
影响因子:7.9
作者:Lei Zhang;Ximing Wu;Feng Wang;Andy Sun;Laizhong Cui;Jiangchuan Liu
通讯作者:Jiangchuan Liu
Towards Real-Time Video Caching at Edge Servers: A Cost-Aware Deep Q-Learning Solution
在边缘服务器上实现实时视频缓存:具有成本意识的深度 Q 学习解决方案
DOI:10.1109/tmm.2021.3125803
发表时间:--
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Laizhong Cui;Erchao Ni;Yipeng Zhou;Zhi Wang;Lei Zhang;Jiangchuan Liu;Yuedong Xu
通讯作者:Yuedong Xu
Enhancing Dynamic-Viewport Mobile Applications with Screen Scrolling
通过屏幕滚动增强动态视口移动应用程序
DOI:10.1109/tmc.2019.2959524
发表时间:2021-04
期刊:IEEE Transactions on Mobile Computing
影响因子:7.9
作者:Lei Zhang;Feng Wang;Jiangchuan Liu
通讯作者:Jiangchuan Liu
面向移动终端的沉浸式流媒体关键技术研究
  • 批准号:
    --
  • 项目类别:
    面上项目
  • 资助金额:
    55万元
  • 批准年份:
    2022
  • 负责人:
    张磊
  • 依托单位:
面向移动端的360度视频流媒体关键技术研究
  • 批准号:
    --
  • 项目类别:
    省市级项目
  • 资助金额:
    10.0万元
  • 批准年份:
    2021
  • 负责人:
    张磊
  • 依托单位:
国内基金
海外基金