CNS Core: Small: Collaborative: Content-Based Viewport Prediction Framework for Live Virtual Reality Streaming
CNS 核心:小型:协作:用于直播虚拟现实流的基于内容的视口预测框架
基本信息
- 批准号:2109982
- 负责人:
- 金额:$ 11万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2021
- 资助国家:美国
- 起止时间:2021-01-01 至 2023-07-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Virtual reality (VR) video streaming has been gaining popularity recently with the rapid adoption of mobile head mounted display (HMD) devices in the consumer video market. As the cost for the immersive experience drops, VR video streaming introduces new bandwidth and performance challenges, especially in live streaming, due to the delivery of 360-degree views. This project develops a new content-based viewport prediction framework to improve the bandwidth and performance in live VR streaming, which predicts the user's viewport through a fusion of tracking the moving objects in the video, extracting the video semantics, and modeling the user's viewport of interest.This project consists of three research thrusts. First, it develops a content-based viewport prediction framework for live VR streaming by tracking the motions and semantics of the objects. Second, it employs hardware and software techniques to facilitate real-time execution and scale the viewport prediction mechanism to a large number of users. Third, it develops evaluation frameworks to verify the functionality, performance, and scalability of the approach. The project uniquely considers the correlation between video content and user behavior, which leverages the deterministic nature of the former to conquer the randomness of the latter.With the rapidly increasing popularity of VR systems in domain-specific immersive environments, the project will benefit several VR-related fields of studies with significant bandwidth savings and performance improvements, such as VR-based live broadcast, healthcare, and scientific visualization. Moreover, the interdisciplinary nature of the project will enhance the education and recruitment of underrepresented minorities in several science, technology, engineering, and mathematics (STEM) fields.The project repository will be stored on a publicly accessible server (https://github.com/hwsel). All the project data will be maintained for at least five years following the end of the grant period.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
随着移动头盔显示器(HMD)设备在消费视频市场的迅速采用,虚拟现实(VR)视频流最近越来越受欢迎。随着沉浸式体验成本的下降,VR视频流带来了新的带宽和性能挑战,尤其是在直播中,因为提供了360度视图。该项目开发了一种新的基于内容的视点预测框架,以提高VR直播的带宽和性能,该框架通过跟踪视频中的运动对象、提取视频语义和对用户感兴趣的视点进行建模的融合来预测用户的视点。首先,通过跟踪对象的运动和语义,开发了一个基于内容的视点预测框架,用于实时VR流媒体。其次,它使用硬件和软件技术来促进实时执行,并将视点预测机制扩展到大量用户。第三,它开发了评估框架来验证该方法的功能、性能和可伸缩性。该项目独特地考虑了视频内容和用户行为之间的相关性,利用前者的确定性性质来克服后者的随机性。随着VR系统在特定领域沉浸式环境中的迅速普及,该项目将受益于几个与VR相关的研究领域,显著节省带宽并提高性能,如基于VR的直播、医疗保健和科学可视化。此外,该项目的跨学科性质将加强对若干科学、技术、工程和数学领域中代表性不足的少数群体的教育和招聘。项目储存库将存储在一个可公开访问的服务器(https://github.com/hwsel).所有项目数据将在资助期结束后保留至少五年。这一奖励反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(9)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Saying the Unseen: Video Descriptions via Dialog Agents
- DOI:10.1109/tpami.2021.3093360
- 发表时间:2021-06
- 期刊:
- 影响因子:23.6
- 作者:Ye Zhu;Yu Wu;Yi Yang;Yan Yan-Yan
- 通讯作者:Ye Zhu;Yu Wu;Yi Yang;Yan Yan-Yan
Learning Omnidirectional Flow in 360° Video via Siamese Representation
通过连体表示学习 360° 视频中的全向流
- DOI:
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Keshav Bhandari;Bin Duan;Gaowen Liu;Hugo Latapie;Ziliang Zong;Yan Yan
- 通讯作者:Yan Yan
Audio-Visual Event Localization via Recursive Fusion by Joint Co-Attention
- DOI:10.1109/wacv48630.2021.00406
- 发表时间:2020-08
- 期刊:
- 影响因子:0
- 作者:Bin Duan;Hao Tang;Wei Wang;Ziliang Zong;Guowei Yang;Yan Yan-Yan
- 通讯作者:Bin Duan;Hao Tang;Wei Wang;Ziliang Zong;Guowei Yang;Yan Yan-Yan
Network Binarization via Contrastive Learning
- DOI:10.48550/arxiv.2207.02970
- 发表时间:2022-07
- 期刊:
- 影响因子:0
- 作者:Yuzhang Shang;Dan Xu;Ziliang Zong;Liqiang Nie;Yan Yan-Yan
- 通讯作者:Yuzhang Shang;Dan Xu;Ziliang Zong;Liqiang Nie;Yan Yan-Yan
Win The Lottery Ticket Via Fourier Analysis: Frequencies Guided Network Pruning
- DOI:10.1109/icassp43922.2022.9746892
- 发表时间:2022-01
- 期刊:
- 影响因子:0
- 作者:Yuzhang Shang;Bin Duan;Ziliang Zong;Liqiang Nie;Yan Yan-Yan
- 通讯作者:Yuzhang Shang;Bin Duan;Ziliang Zong;Liqiang Nie;Yan Yan-Yan
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Yan Yan其他文献
Clinical analysis on surgical management of type III external auditory canal cholesteatoma: a report of 12 cases
Ⅲ型外耳道胆脂瘤手术治疗12例临床分析
- DOI:
10.3109/00016489.2016.1173227 - 发表时间:
2016 - 期刊:
- 影响因子:1.4
- 作者:
Yan Yan;Siqi Dong;Q. Hao;Riyuan Liu;Guangyu Xu;Hui Zhao;Shi - 通讯作者:
Shi
Vitality of Urban Parks and Its Influencing Factors from the Perspective of Recreational Service Supply, Demand, and Spatial Links
游憩服务供给、需求和空间联系视角下的城市公园活力及其影响因素
- DOI:
10.3390/ijerph17051615 - 发表时间:
2020-03 - 期刊:
- 影响因子:0
- 作者:
Jieyuan Zhu;Huiting Lu;Tianchen Zheng;Yuejing Rong;Chenxing Wang;Wen Zhang;Yan Yan;Lina Tang - 通讯作者:
Lina Tang
Microstructure evolution and mechanical properties of Mg matrix composites reinforced with Al and nano SiC particles using spark plasma sintering followed by hot extrusion
采用放电等离子烧结和热挤压的 Al 和纳米 SiC 颗粒增强镁基复合材料的微观结构演变和机械性能
- DOI:
10.1016/j.jallcom.2017.07.159 - 发表时间:
2017-11 - 期刊:
- 影响因子:6.2
- 作者:
Hua Zhang;Yanchun Zhao;Yan Yan;Jianfeng Fan;Lifei Wang;Hongbiao Dong;Bingshe Xu - 通讯作者:
Bingshe Xu
The Formation of Ti-H Species at Interface Is Lethal to the Efficiency of TiO2-Based Dye-Sensitized Devices
界面处 Ti-H 物质的形成对于 TiO2 基染料敏化器件的效率是致命的
- DOI:
10.1021/jacs.6b12324 - 发表时间:
2017 - 期刊:
- 影响因子:15
- 作者:
Yan Yan;Shi Weidong;Yuan Zhen;He Shenggui;Li Dongmei;Meng Qingbo;Ji Hongwei;Chen Chuncheng;Ma Wanhong;Zhae Jincai - 通讯作者:
Zhae Jincai
Real-Time Ethernet to Software-Defined Sliceable Superchannel Transponder
实时以太网到软件定义的可切片超级通道转发器
- DOI:
- 发表时间:
2015 - 期刊:
- 影响因子:4.7
- 作者:
Shuangyi Yan;Yan Yan;B. Rofoee;Y. Shu;E. Hugues;G. Zervas;D. Simeonidou - 通讯作者:
D. Simeonidou
Yan Yan的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Yan Yan', 18)}}的其他基金
CRCNS Research Proposal: A Unified Framework for Unsupervised Sparse-to-dense Brain Image Generation and Neural Circuit Reconstruction
CRCNS 研究提案:无监督稀疏到密集脑图像生成和神经回路重建的统一框架
- 批准号:
2309073 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Continuing Grant
Collaborative Research: SCH: Personalized Watch-based Fall Risk Analysis and Detection with Cross Modal Learning
合作研究:SCH:通过跨模态学习进行基于手表的个性化跌倒风险分析和检测
- 批准号:
2123521 - 财政年份:2021
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Collaborative: Content-Based Viewport Prediction Framework for Live Virtual Reality Streaming
CNS 核心:小型:协作:用于直播虚拟现实流的基于内容的视口预测框架
- 批准号:
1909185 - 财政年份:2019
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
相似国自然基金
胆固醇羟化酶CH25H非酶活依赖性促进乙型肝炎病毒蛋白Core及Pre-core降解的分子机制研究
- 批准号:82371765
- 批准年份:2023
- 资助金额:50 万元
- 项目类别:面上项目
锕系元素5f-in-core的GTH赝势和基组的开发
- 批准号:22303037
- 批准年份:2023
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于合成致死策略搭建Core-matched前药共组装体克服肿瘤耐药的机制研究
- 批准号:
- 批准年份:2022
- 资助金额:52 万元
- 项目类别:
鼠伤寒沙门氏菌LPS core经由CD209/SphK1促进树突状细胞迁移加重炎症性肠病的机制研究
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于外泌体精准调控的“核-壳”(core-shell)同步血管化骨组织工程策略的应用与机制探讨
- 批准号:
- 批准年份:2020
- 资助金额:55 万元
- 项目类别:
肌营养不良蛋白聚糖Core M3型甘露糖肽的精确制备及功能探索
- 批准号:92053110
- 批准年份:2020
- 资助金额:70.0 万元
- 项目类别:重大研究计划
Core-1-O型聚糖黏蛋白缺陷诱导胃炎发生并介导慢性胃炎向胃癌转化的分子机制研究
- 批准号:81902805
- 批准年份:2019
- 资助金额:20.5 万元
- 项目类别:青年科学基金项目
原始地球增生晚期的Core-merging大碰撞事件:地核增生、核幔平衡与核幔边界结构的新认识
- 批准号:41973063
- 批准年份:2019
- 资助金额:65.0 万元
- 项目类别:面上项目
CORDEX-CORE区域气候模拟与预估研讨会
- 批准号:41981240365
- 批准年份:2019
- 资助金额:1.5 万元
- 项目类别:国际(地区)合作与交流项目
RBM38通过协助Pol-ε结合、招募core调控HBV复制
- 批准号:31900138
- 批准年份:2019
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
相似海外基金
CNS Core: Small: Core Scheduling Techniques and Programming Abstractions for Scalable Serverless Edge Computing Engine
CNS Core:小型:可扩展无服务器边缘计算引擎的核心调度技术和编程抽象
- 批准号:
2322919 - 财政年份:2024
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Network Wide Sensing by Leveraging Cellular Communication Networks
CNS 核心:小型:利用蜂窝通信网络进行全网络传感
- 批准号:
2343469 - 财政年份:2024
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Intelligent Fault Injection to Expose and Reproduce Production-Grade Bugs in Cloud Systems
CNS 核心:小型:智能故障注入以暴露和重现云系统中的生产级错误
- 批准号:
2317698 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Repurposing Smartphones to Minimize Carbon
CNS 核心:小型:重新利用智能手机以最大限度地减少碳排放
- 批准号:
2233894 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: A Compilation System for Mapping Deep Learning Models to Tensorized Instructions (DELITE)
合作研究:CNS Core:Small:将深度学习模型映射到张量化指令的编译系统(DELITE)
- 批准号:
2230945 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
Collaborative Research: NSF-AoF: CNS Core: Small: Towards Scalable and Al-based Solutions for Beyond-5G Radio Access Networks
合作研究:NSF-AoF:CNS 核心:小型:面向超 5G 无线接入网络的可扩展和基于人工智能的解决方案
- 批准号:
2225578 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Toward Opportunistic, Fast, and Robust In-Cache AI Acceleration at the Edge
CNS 核心:小型:在边缘实现机会主义、快速且稳健的缓存内 AI 加速
- 批准号:
2228028 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: SmartSight: an AI-Based Computing Platform to Assist Blind and Visually Impaired People
合作研究:中枢神经系统核心:小型:SmartSight:基于人工智能的计算平台,帮助盲人和视障人士
- 批准号:
2418188 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
CNS Core: Small: Redesigning I/O Across Heterogeneous Systems
CNS 核心:小型:跨异构系统重新设计 I/O
- 批准号:
2231724 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant
Collaborative Research: CNS Core: Small: Creating An Extensible Internet Through Interposition
合作研究:CNS核心:小:通过介入创建可扩展的互联网
- 批准号:
2242503 - 财政年份:2023
- 资助金额:
$ 11万 - 项目类别:
Standard Grant