Tightrope walking in low-latency live streaming: optimal joint adaptation of video rate and playback speed
Tightrope walking in low-latency live streaming: optimal joint adaptation of video rate and playback speed
复制标题
低时延直播走钢丝：视频码率与播放速度的优化联合适配
DOI：
10.1145/3458305.3463382
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Wang, Yao
中科院分区：
文献类型：
--
作者：
Sun, Liyang;Zong, Tongyu;Wang, Siquan;Liu, Yong;Wang, Yao
在实时视频流中同时实现高速率和低延迟是非常具有挑战性的。基于块的流媒体和回放速度自适应是实现高用户体验质量（QoE）的两个有前途的新趋势。为了彻底了解它们的潜力，我们开发了一个详细的块级动态模型，该模型描述了视频速率和播放速度如何共同控制直播会话的演变。利用该模型，我们首先研究了最优联合视频速率-回放速度自适应作为一个非线性最优控制问题。我们使用深度强化学习进一步开发无模型联合自适应策略。通过大量的实验，我们证明了我们提出的联合自适应算法显着优于仅速率自适应算法和最近提出的低延迟视频流算法，分别适应视频速率和播放速度没有联合优化。在广泛的网络条件下，基于模型和无模型的算法可以实现接近最优的权衡，为具有不同QoE偏好的用户量身定制。
It is highly challenging to simultaneously achieve high-rate and low-latency in live video streaming. Chunk-based streaming and playback speed adaptation are two promising new trends to achieve high user Quality-of-Experience (QoE). To thoroughly understand their potentials, we develop a detailed chunk-level dynamic model that characterizes how video rate and playback speed jointly control the evolution of a live streaming session. Leveraging on the model, we first study the optimal joint video rate-playback speed adaptation as a non-linear optimal control problem. We further develop model-free joint adaptation strategies using deep reinforcement learning. Through extensive experiments, we demonstrate that our proposed joint adaptation algorithms significantly outperform rate-only adaptation algorithms and the recently proposed low-latency video streaming algorithms that separately adapt video rate and playback speed without joint optimization. In a wide-range of network conditions, the model-based and model-free algorithms can achieve close-to-optimal trade-offs tailored for users with different QoE preferences.
登录
查看更多内容
DOI：
10.1145/3371040
发表时间：
2020-03
期刊：
ACM Transactions on Multimedia Computing, Communications, and Applications (TOMM)
影响因子：
--
作者：
A. Bentaleb;P. Yadav;Wei Tsang Ooi;Roger Zimmermann
通讯作者：
A. Bentaleb;P. Yadav;Wei Tsang Ooi;Roger Zimmermann
DOI：
10.1109/icnp.2019.8888127
发表时间：
2019-10
期刊：
2019 IEEE 27th International Conference on Network Protocols (ICNP)
影响因子：
--
作者：
Liyang Sun;Tongyu Zong;Yong Liu;Yao Wang;Haihong Zhu
通讯作者：
Liyang Sun;Tongyu Zong;Yong Liu;Yao Wang;Haihong Zhu
DOI：
10.1145/3339825.3391856
发表时间：
2020-05
期刊：
Proceedings of the 11th ACM Multimedia Systems Conference
影响因子：
--
作者：
Liyang Sun;Yixiang Mao;Tongyu Zong;Yong Liu;Yao Wang
通讯作者：
Liyang Sun;Yixiang Mao;Tongyu Zong;Yong Liu;Yao Wang
DOI：
10.1609/aaai.v32i1.11798
发表时间：
2017-11
期刊：
ArXiv
影响因子：
--
作者：
Arash Tavakoli;Fabio Pardo;Petar Kormushev
通讯作者：
Arash Tavakoli;Fabio Pardo;Petar Kormushev
DOI：
10.1016/j.image.2011.10.001
发表时间：
2012-04
期刊：
Signal Process. Image Commun.
影响因子：
--
作者：
Chenghao Liu;Imed Bouazizi;M. Hannuksela;M. Gabbouj
通讯作者：
Chenghao Liu;Imed Bouazizi;M. Hannuksela;M. Gabbouj