课题基金基金详情
基于DASH的交互式三维视频系统建模
结题报告
批准号:
61501379
项目类别:
青年科学基金项目
资助金额:
19.0 万元
负责人:
肖继民
依托单位:
学科分类:
F0108.多媒体通信
结题年份:
2018
批准年份:
2015
项目状态:
已结题
项目参与者:
林春雨、程飞、于莉、金枝、孙泊远
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
三维视频带给用户沉浸式的视觉体验,因此受到学术界和工业界的广为关注。然而,目前已有的三维视频在视点切换和网络传输过程中还存在较大问题。已有三维视频的传输研究都是基于传统的UDP/RTP框架。使用DASH进行视频传输具有多码率编码,以及根据网络情况和缓存状况自适应调整视频传输码率和防止视频播放卡顿等优点。目前,国内外基于DASH系统的三维视频交互式传输的研究还是空缺的。本课题将结合三维视频交互式传输和DASH系统的内在特点,研究基于DASH的三维视频交互式传输模型。主要包括三个方面的工作:基于DASH系统多码率编码的特点和交互式传输中DASH客户端视角选择的不确定性,研究DASH服务器中三维视频的最佳表示方法;研究DASH客户端用户视角切换模型和对系统性能的影响;研究三维视频交互式DASH系统中的缓存机制。课题的研究将直接推动三维视频在互联网中的应用。
英文摘要
3-D video enables viewers with immersive vision experience, and hence attracts a lot of attentions both from industry and academia. However, for the current 3-D video format, there are many problems in view switching during video streaming. Most existing 3-D video streaming methods are based on the conventional UDP/RTP protocols. Dynamic Adaptive Video Streaming over HTTP (DASH) has many advantages over UDP/RTP, such as multiple rate choices, video quality adaptation based on the network and buffer conditions, and video smooth playback (avoiding buffer starvation). However, there is little research effort on 3-D interactive video streaming over DASH. In this research project, the characteristics of 3-D interactive streaming and the nature of the DASH system will be jointly exploited, and the DASH-based 3-D interactive video streaming system will be studied. Bearing in mind that video contents are stored in the DASH server with multiple rates, and the uncertainty nature of user viewpoint switching for 3-D interactive video streaming, in this project, we are going to investigate how to store the 3-D video data in the DASH server, how the user viewpoint switching model affects the system design, and how to design the 3-D video buffer mechanism in such a system. The research output of this project will help to foster the Internet 3-D video applications.
多视角视频由于其出色观看体验受到用户欢迎。同时,根据用户请求, 提供无缝视点切换的交互式多视点视频流的需求也在增加。然而,通过流式传输,提供稳定且高质量的多视点视频是一项极具挑战性的任务,该任务必须允许在有限带宽下进行实时场景切换。在本项目中,课题组提出了一种卷积神经网络(ConvNet)辅助的无缝多视点视频系统来应对这一挑战。所提出的方法从两个角度解决了该问题。 首先,提出了一种ConvNet辅助的多视点视频表示方法,该方法提供灵活的交互性,而不会影响多视图视频压缩效率。 其次,课题组开发了由视点切换模型引导的网络带宽分配机制,以提供无缝视角切换并同时适应网络带宽波动。 这两个模块紧密配合,为用户提供优化的观看体验。 它们可以集成到任何现有的多视图视频流框架中,以提高整体性能。...同时,在本课题组考虑到流式传输过程中视点切换的用户行为, 设计了一个新的流式缓存框架,以改善DASH上多视点视频流的用户体验。为了消除视点切换延迟,课题组引入了多视点切换规则以预取可能的切换视点。针对引入的规则提出了最佳比特率分配方案,允许客户端最大化视频质量。此外,我们发现在该框架下,视频质量和播放卡顿概率是冲突因素,而两者对于用户的体验质量(QoE)都是必不可少的。本课题很好的解决了两者之间的矛盾。实验结果证明了该方法在无缝多视图流中的有效性。..本课题组在课题执行期间发表了多篇重要论文,包括IEEE Transactions on Multimedia 5篇, IEEE Transactions on Circuits and Systems for Video Technology 1篇,IEEE Transactions on Broadcasting 3篇。 ..课题解决了多视角视频传输时,视频视角传输的灵活性和视角间冗余挖掘之间的矛盾。同时实现了视角传输的灵活性和较高的多视角压缩率失真性能。 同时,解决了多视角视频在DASH传输时候的最优缓存问题。根据网络情况和用户的视角切换习惯,提出了最优缓存大小的计算方式,以获得最优的用户体验质量QoE。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Region-Based Multiple Description Coding for Multiview Video Plus Depth Video
多视图视频加深度视频的基于区域的多重描述编码
DOI:10.1109/tmm.2017.2766043
发表时间:2018-05
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Lin Chunyu;Zhao Yao;Xiao Jimin;Tillo Tammam
通讯作者:Tillo Tammam
DOI:10.1109/tmm.2017.2700622
发表时间:2017-05
期刊:IEEE Transactions on Multimedia
影响因子:7.3
作者:Fei Cheng;T. Tillo;Jimin Xiao;B. Jeon
通讯作者:Fei Cheng;T. Tillo;Jimin Xiao;B. Jeon
An effective CU size decision method for quality scalability in SHVC
SHVC 中质量可扩展性的有效 CU 大小决策方法
DOI:10.1007/s11042-016-3460-9
发表时间:2017-03
期刊:Multimed Tools and Applications
影响因子:--
作者:Xiaoni Li;Mianshu Chen;Zhaowei Qu;Jimin Xiao;Moncef Gabbouj
通讯作者:Moncef Gabbouj
Convolutional Neural Network for Intermediate View Enhancement in Multiview Streaming
用于多视图流媒体中中间视图增强的卷积神经网络
DOI:10.1109/tmm.2017.2726900
发表时间:2018
期刊:IEEE TRANSACTIONS ON MULTIMEDIA
影响因子:7.3
作者:Li Yu;Tammam Tillo;Jimin Xiao;Marco Grangetto
通讯作者:Marco Grangetto
QoE-Driven Dynamic Adaptive Video Streaming Strategy With Future Information
具有未来信息的 QoE 驱动的动态自适应视频流策略
DOI:10.1109/tbc.2017.2687698
发表时间:2017-04
期刊:IEEE TRANSACTIONS ON BROADCASTING
影响因子:4.5
作者:Li Yu;Tammam Tillo;Jimin Xiao
通讯作者:Jimin Xiao
面向工业缺陷检测的多模态通用大模型框架
  • 批准号:
    --
  • 项目类别:
    面上项目
  • 资助金额:
    --
  • 批准年份:
    2024
  • 负责人:
    肖继民
  • 依托单位:
基于深度学习的交互式多视点视频技术研究
  • 批准号:
    61972323
  • 项目类别:
    面上项目
  • 资助金额:
    59.0万元
  • 批准年份:
    2019
  • 负责人:
    肖继民
  • 依托单位:
国内基金
海外基金