Collaborative Research: CNS Core: HCC: Small: Enabling Efficient Computer Systems for Augmented and Virtual Reality: A Perception-Guided Approach

合作研究:CNS 核心:HCC:小型:为增强现实和虚拟现实启用高效计算机系统:感知引导方法

基本信息

  • 批准号:
    2225861
  • 负责人:
  • 金额:
    $ 30万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-11-01 至 2025-10-31
  • 项目状态:
    未结题

项目摘要

This research project designs software-hardware collaborative mechanisms to bridge the gap between human visual perception and augmented/virtual reality (AR/VR) systems design and ultimately deliver an order of magnitude efficiency gains. Achieving this goal requires first developing computational models to quantitatively capture human visual perception, and then investigating new techniques across the systems stack that leverage the perceptual models for efficient processing. The intellectual merit of the project is the pursuit of three classes of techniques pertaining to exploiting unique characteristics of human perception to build efficient AR/VR systems: 1) identify key aspects of visual stimuli that simultaneously influence viewing experience and system efficiency and investigate lightweight modeling strategies through extensive psychophysical experiments, 2) investigate enabling techniques across the entire application pipeline (from algorithms and systems to the display) that leverage the perceptual models for improving system efficiency, and 3) develop a data-driven, learning-based approach to tune the entire system while satisfying perceptual and efficiency requirements.The research agenda is complemented by an educational/outreach agenda. The PIs will (1) offer summer research and programming opportunities to high school students in Rochester and New York, (2) introduce new courses/modules in both University of Rochester and NYU on visual perception and its connection to computer systems design, (3) reach out and collaboration with industry partners to explore technology transfer possibilities, and (4) offer undergraduate students inclusive opportunities for hands-on experience in emerging application domains and hardware acceleration. Broadly, the integrated research and education activities will lead the way to an explosion of new products and ideas, which in turn addresses key technological and societal issues in areas such as healthcare, education, remote communication and interaction, professional training, and industrial design.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
该研究项目设计了软件-硬件协作机制,以弥合人类视觉感知和增强/虚拟现实(AR/VR)系统设计之间的差距,并最终实现一个数量级的效率增益。要实现这一目标,首先需要开发计算模型来定量捕获人类视觉感知,然后研究跨系统堆栈的新技术,利用感知模型进行有效处理。该项目的智力价值在于追求三类技术,这些技术与利用人类感知的独特特征来构建高效的AR/VR系统有关:1)识别同时影响观看体验和系统效率的视觉刺激的关键方面,并通过广泛的心理物理实验研究轻量级建模策略,2)研究整个应用程序管道中的启用技术(从算法和系统到显示器),其利用感知模型来提高系统效率,以及3)开发数据驱动的,以学习为基础的方法来调整整个系统,同时满足感知和效率要求。研究议程由教育/推广议程补充。PI将(1)为罗切斯特和纽约的高中生提供暑期研究和编程机会,(2)在罗切斯特大学和纽约大学引入视觉感知及其与计算机系统设计的联系的新课程/模块,(3)与行业合作伙伴接触和合作,探索技术转让的可能性,以及(4)为本科生提供在新兴应用领域和硬件加速方面获得实践经验的机会。从广义上讲,综合研究和教育活动将引领新产品和新想法的爆炸式增长,从而解决医疗保健,教育,远程通信和互动,专业培训,该奖项反映了NSF的法定使命,并被认为是值得通过评估使用基金会的智力价值和更广泛的支持。影响审查标准。

项目成果

期刊论文数量(4)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Reconstructing room scales with a single sound for augmented reality displays
使用单一声音重建房间尺度以进行增强现实显示
  • DOI:
    10.1080/15980316.2022.2145377
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    3.7
  • 作者:
    Liang, Benjamin S.;Liang, Andrew S.;Roman, Iran;Weiss, Tomer;Duinkharjav, Budmonde;Bello, Juan Pablo;Sun, Qi
  • 通讯作者:
    Sun, Qi
Force-Aware Interface via Electromyography for Natural VR/AR Interaction
  • DOI:
    10.1145/3550454.3555461
  • 发表时间:
    2022-10
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yunxiang Zhang;Benjamin Liang;Boyuan Chen-;P. Torrens;S. F. Atashzar;Dahua Lin;Qinghong Sun
  • 通讯作者:
    Yunxiang Zhang;Benjamin Liang;Boyuan Chen-;P. Torrens;S. F. Atashzar;Dahua Lin;Qinghong Sun
Imperceptible Color Modulation for Power Saving in VR/AR
难以察觉的色彩调制,可在 VR/AR 中实现省电
  • DOI:
    10.1145/3588037.3595388
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Chen, Kenneth;Duinkharjav, Budmonde;Ujjainkar, Nisarg;Shahan, Ethan;Tyagi, Abhishek;He, Jiayi;Zhu, Yuhao;Sun, Qi
  • 通讯作者:
    Sun, Qi
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Qi Sun其他文献

Image features influence reaction time
图像特征影响反应时间
  • DOI:
    10.1145/3528223.3530055
  • 发表时间:
    2022
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Budmonde Duinkharjav;Praneeth Chakravarthula;Rachel M. Brown;Anjul Patney;Qi Sun
  • 通讯作者:
    Qi Sun
span style=font-family: ; Times= New= Roman?;font-size:12pt;?=Use of Computational Fluid Dynamics to Estimate Hemodynamic Effects of Respiration on Hypoplastic Left Heart Syndrome Surgery: Total Cavo
使用计算流体动力学来估计呼吸对左心发育不全综合征手术的血流动力学影响:Total Cavo
  • DOI:
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Jinlong Liu;Yi Qian;Qi Sun;Jinfen Liu;Mitsuo Umezu
  • 通讯作者:
    Mitsuo Umezu
Finite sample distributions of nonlinear IV panel unit root tests in the presence of cross-section dependence
存在横截面依赖性时非线性 IV 面板单位根检验的有限样本分布
  • DOI:
  • 发表时间:
    2009
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Qi Sun
  • 通讯作者:
    Qi Sun
LMX1A inhibits C-Myc expression through ANGPTL4 to exert tumor suppressive role in gastric cancer
LMX1A通过ANGPTL4抑制C-Myc表达发挥胃癌抑癌作用
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    3.7
  • 作者:
    Peiyu Qian;Jian Li;Xiaohong Zhang;Fan Li;S. Bei;Huanqing Li;Qi Sun;Li Feng
  • 通讯作者:
    Li Feng
The Microstructure and Growth Behavior of Bi2Fe4O9 Superfine Particles Synthesized by Hydrothermal Method
水热法合成Bi2Fe4O9超细颗粒的微观结构和生长行为
  • DOI:
    10.4028/www.scientific.net/ssp.281.78
  • 发表时间:
    2018-08
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Hai Peng Song;Qi Sun;Yuan Yu Wang
  • 通讯作者:
    Yuan Yu Wang

Qi Sun的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Qi Sun', 18)}}的其他基金

CC* Data Storage: Distributed, Fast, Scalable Infrastructure for Emerging Media Research Data
CC* 数据存储:新兴媒体研究数据的分布式、快速、可扩展基础设施
  • 批准号:
    2232817
  • 财政年份:
    2022
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: CNS Core: Medium: Reconfigurable Kernel Datapaths with Adaptive Optimizations
协作研究:CNS 核心:中:具有自适应优化的可重构内核数据路径
  • 批准号:
    2345339
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: A Compilation System for Mapping Deep Learning Models to Tensorized Instructions (DELITE)
合作研究:CNS Core:Small:将深度学习模型映射到张量化指令的编译系统(DELITE)
  • 批准号:
    2230945
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: NSF-AoF: CNS Core: Small: Towards Scalable and Al-based Solutions for Beyond-5G Radio Access Networks
合作研究:NSF-AoF:CNS 核心:小型:面向超 5G 无线接入网络的可扩展和基于人工智能的解决方案
  • 批准号:
    2225578
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Medium: Movement of Computation and Data in Splitkernel-disaggregated, Data-intensive Systems
合作研究:CNS 核心:媒介:Splitkernel 分解的数据密集型系统中的计算和数据移动
  • 批准号:
    2406598
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Continuing Grant
Collaborative Research: CNS Core: Small: SmartSight: an AI-Based Computing Platform to Assist Blind and Visually Impaired People
合作研究:中枢神经系统核心:小型:SmartSight:基于人工智能的计算平台,帮助盲人和视障人士
  • 批准号:
    2418188
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Creating An Extensible Internet Through Interposition
合作研究:CNS核心:小:通过介入创建可扩展的互联网
  • 批准号:
    2242503
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Adaptive Smart Surfaces for Wireless Channel Morphing to Enable Full Multiplexing and Multi-user Gains
合作研究:CNS 核心:小型:用于无线信道变形的自适应智能表面,以实现完全复用和多用户增益
  • 批准号:
    2343959
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: Efficient Ways to Enlarge Practical DNA Storage Capacity by Integrating Bio-Computer Technologies
合作研究:中枢神经系统核心:小型:通过集成生物计算机技术扩大实用 DNA 存储容量的有效方法
  • 批准号:
    2343863
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: A Compilation System for Mapping Deep Learning Models to Tensorized Instructions (DELITE)
合作研究:CNS Core:Small:将深度学习模型映射到张量化指令的编译系统(DELITE)
  • 批准号:
    2341378
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Medium: Innovating Volumetric Video Streaming with Motion Forecasting, Intelligent Upsampling, and QoE Modeling
合作研究:CNS 核心:中:通过运动预测、智能上采样和 QoE 建模创新体积视频流
  • 批准号:
    2409008
  • 财政年份:
    2023
  • 资助金额:
    $ 30万
  • 项目类别:
    Continuing Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了