CHS: Small: Audio-Visual Reconstruction for Immersive Virtualized Reality
CHS:小型:沉浸式虚拟现实的视听重建
基本信息
- 批准号:1910940
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2019
- 资助国家:美国
- 起止时间:2019-10-01 至 2024-09-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Maintaining the sense of presence is a major challenge in immersive virtual environments. An important aspect of immersion is the feeling of cohesiveness between different senses, including the visual and auditory; for example, an object that looks like wood should also sound like wood. Sound synthesis can improve a user's sensory cohesion when interacting with objects, but it requires accurate real-world material parameters. While much prior work in computer vision has focused on acquiring the geometric shape and visual characteristic of objects, the resulting point-clouds and images can assist in more accurate recovery of audio parameters for sound synthesis, along with acoustic scattering and absorption properties for sound rendering and propagation. A hypothesis of this research is that, conversely, auditory metrics can also assist in determining an object's geometry, including holes and occlusions, in a manner analogous to sonar detection (but of course 3D geometry reconstruction is far more challenging than object detection). The audio-visual reconstruction enabled by this project will have broad impact across many domains, including assistive technology for persons who are visually impaired, multimodal human-centric interfaces, immersive teleconferencing, rapid prototyping of acoustic spaces for urban planning, structural design, and noise control, to name just a few. Project outcomes including scientific advances and software systems will be disseminated through websites, publications, workshops, community outreach, and other professional events.This project explores a novel paradigm of audio-visual reconstruction of real-world scenes, where audio cues are used to guide the classification of objects and materials for 3D geometry reconstruction. At the same time, the visual information can be used to initialize and accelerate the identification of acoustic material parameters. Some of the major research challenges that will be addressed include audio-guided 3D model reconstruction, design of audio-visual neural networks for material and object identification, learning-based acoustic material classification of a large physical or virtual space, and optimization-based acoustic material refinement using geometric and wave-based methods. Perceptually-grounded evaluation and validation of the new methods and applications will be performed.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
保持存在感是沉浸式虚拟环境中的主要挑战。沉浸感的一个重要方面是不同感官之间的凝聚力,包括视觉和听觉;例如,一个看起来像木头的物体听起来也应该像木头。声音合成可以提高用户与对象交互时的感官凝聚力,但它需要准确的真实世界材料参数。虽然计算机视觉中的许多先前工作集中于获取对象的几何形状和视觉特性,但是所得到的点云和图像可以帮助更准确地恢复用于声音合成的音频参数,沿着用于声音渲染和传播的声学散射和吸收特性。 这项研究的一个假设是,相反,听觉指标也可以帮助确定对象的几何形状,包括孔和闭塞,以类似于声纳检测的方式(但当然3D几何重建比对象检测更具挑战性)。 该项目实现的视听重建将在许多领域产生广泛影响,包括视障人士的辅助技术,多模态以人为中心的界面,沉浸式电话会议,城市规划声学空间的快速原型,结构设计和噪音控制,仅举几例。 项目成果包括科学进步和软件系统将通过网站、出版物、研讨会、社区外展和其他专业活动进行传播。该项目探索了一种新的真实世界场景视听重建范例,其中音频线索用于指导物体和材料的分类,以进行3D几何重建。同时,视觉信息可用于初始化和加速声学材料参数的识别。将解决的一些主要研究挑战包括音频引导的3D模型重建,用于材料和物体识别的视听神经网络设计,大型物理或虚拟空间的基于学习的声学材料分类,以及基于优化的声学材料细化使用几何和基于波的方法。 该奖项反映了NSF的法定使命,并被认为是值得通过使用基金会的知识价值和更广泛的影响审查标准进行评估的支持。
项目成果
期刊论文数量(1)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Scene-Aware Audio Rendering via Deep Acoustic Analysis
- DOI:10.1109/tvcg.2020.2973058
- 发表时间:2020-05-01
- 期刊:
- 影响因子:5.2
- 作者:Tang, Zhenyu;Bryan, Nicholas J.;Manocha, Dinesh
- 通讯作者:Manocha, Dinesh
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Ming Lin其他文献
Reduced expression of ASS is closely related to clinicopathological features and post-resectional survival of hepatocellular carcinoma.
ASS表达降低与肝细胞癌的临床病理特征及术后生存密切相关。
- DOI:
10.3892/ol_00000005 - 发表时间:
2010 - 期刊:
- 影响因子:2.9
- 作者:
Hua Yang;Ming Lin;Fuxia Xiong;Yu Yang;X. Nie;R. Zhou - 通讯作者:
R. Zhou
Learning by Browsing: A Web-Based Multimedia Browsing System for Learning
通过浏览学习:基于网络的多媒体学习浏览系统
- DOI:
10.1109/hicss.2006.249 - 发表时间:
2006 - 期刊:
- 影响因子:0
- 作者:
Ming Lin;Jinwei Cao;Christopher B. R. Diller;J. Nunamaker - 通讯作者:
J. Nunamaker
Frontispiece: Morphology-Reserved Synthesis of Discrete Nanosheets of CuO@SAPO-34 and Pore Mouth Catalysis for One-Pot Oxidation of Cyclohexane
卷首文章:CuO@SAPO-34 离散纳米片的形态保留合成及环己烷一锅氧化的孔口催化
- DOI:
10.1002/anie.202080761 - 发表时间:
2020 - 期刊:
- 影响因子:0
- 作者:
Xiangke Guo;Mengxia Xu;Minyi She;Yan Zhu;Taotao Shi;Zhaoxu Chen;Luming Peng;Xuefeng Guo;Ming Lin;Weiping Ding - 通讯作者:
Weiping Ding
Blepharoplasty techniques in the management of orbito-temporal neurofibromatosis
眼睑成形术技术在眼眶颞神经纤维瘤病治疗中的应用
- DOI:
- 发表时间:
2014 - 期刊:
- 影响因子:2.7
- 作者:
Jin Li;Ming Lin;Chunyi Shao;Shengfang Ge;Xianqun Fan - 通讯作者:
Xianqun Fan
Reliable Mixed H_2/H_infinity Distributed Estimation for Periodic Nonlinear Systems with Jumping Topology
跳跃拓扑周期性非线性系统的可靠混合H_2/H_infinity分布式估计
- DOI:
10.1016/j.jfranklin.2022.09.017 - 发表时间:
2022 - 期刊:
- 影响因子:0
- 作者:
Ming Lin;Yan-Ni Zeng;Hui Chen;Chang Liu;Hongxia Rao - 通讯作者:
Hongxia Rao
Ming Lin的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Ming Lin', 18)}}的其他基金
Collaborative Research: HCC: Medium: Aerodynamic Virtual Human Simulation on Face, Body, and Crowd
合作研究:HCC:媒介:面部、身体和人群的空气动力学虚拟人体模拟
- 批准号:
2313074 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CGV: Small: Interactive Sound Rendering for Large-Scale Virtual Environments
CGV:小型:大型虚拟环境的交互式声音渲染
- 批准号:
1840864 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
EAGER/Cybermanufacturing: Modular System Design for CyberManufacturing of Customized Apparel
EAGER/Cybermanufacturing:定制服装网络制造的模块化系统设计
- 批准号:
1832443 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
EAGER/Cybermanufacturing: Modular System Design for CyberManufacturing of Customized Apparel
EAGER/Cybermanufacturing:定制服装网络制造的模块化系统设计
- 批准号:
1547106 - 财政年份:2015
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CGV: Small: Interactive Sound Rendering for Large-Scale Virtual Environments
CGV:小型:大型虚拟环境的交互式声音渲染
- 批准号:
1320644 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
EAGER: Interactive Reconstruction and Visualization of Metropolitan-Scale Traffic
EAGER:大都市规模交通的交互式重建和可视化
- 批准号:
1247456 - 财政年份:2012
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
HCC-Small:Interactive Auditory Displays
HCC-Small:交互式听觉显示器
- 批准号:
0917040 - 财政年份:2009
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
CI-TEAM Implementation Project: Collaborative Research: Cyber-Infrastructure for Engineering Informatics Education
CI-TEAM实施项目:合作研究:工程信息学教育的网络基础设施
- 批准号:
0636208 - 财政年份:2007
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Adenovirus-mediated immune modulation for Type 1 diabetes.
腺病毒介导的 1 型糖尿病免疫调节。
- 批准号:
nhmrc : 305547 - 财政年份:2004
- 资助金额:
$ 50万 - 项目类别:
NHMRC Postgraduate Scholarships
Physically-Inspired Modeling for Haptic Rendering
触觉渲染的物理启发建模
- 批准号:
0429583 - 财政年份:2004
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
相似国自然基金
昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
- 批准号:32000033
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
- 批准号:31972324
- 批准年份:2019
- 资助金额:58.0 万元
- 项目类别:面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
- 批准号:81900988
- 批准年份:2019
- 资助金额:21.0 万元
- 项目类别:青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
- 批准号:31802058
- 批准年份:2018
- 资助金额:26.0 万元
- 项目类别:青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
- 批准号:31870821
- 批准年份:2018
- 资助金额:56.0 万元
- 项目类别:面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
- 批准号:31772128
- 批准年份:2017
- 资助金额:60.0 万元
- 项目类别:面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
- 批准号:81704176
- 批准年份:2017
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
- 批准号:91640114
- 批准年份:2016
- 资助金额:85.0 万元
- 项目类别:重大研究计划
相似海外基金
Collaborative Research: SaTC: CORE: Small: Securing IoT and Edge Devices under Audio Adversarial Attacks
协作研究:SaTC:核心:小型:在音频对抗攻击下保护物联网和边缘设备
- 批准号:
2114161 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: SaTC: CORE: Small: Securing IoT and Edge Devices under Audio Adversarial Attacks
协作研究:SaTC:核心:小型:在音频对抗攻击下保护物联网和边缘设备
- 批准号:
2114220 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CPS: Small: Real-time spatial audio on the Internet of Things
CPS:小型:物联网上的实时空间音频
- 批准号:
1932377 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
SaTC: CORE: Small: Collaborative: ForensicExaminer: Testbed for Benchmarking Digital Audio Forensic Algorithms
SaTC:核心:小型:协作:ForensicExaminer:数字音频取证算法基准测试平台
- 批准号:
1815724 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
SaTC: CORE: Small: Collaborative: ForensicExaminer: Testbed for Benchmarking Digital Audio Forensic Algorithms
SaTC:核心:小型:协作:ForensicExaminer:数字音频取证算法基准测试平台
- 批准号:
1816019 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CHS: Small: Collaborative Research: 3D Audio Augmentation for Limited Field of View Augmented Reality Systems for Medical Training
CHS:小型:协作研究:用于有限视场的 3D 音频增强医疗培训增强现实系统
- 批准号:
1718313 - 财政年份:2017
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CHS: Small: Collaborative Research: 3D Audio Augmentation for Limited Field of View Augmented Reality Systems for Medical Training
CHS:小型:协作研究:用于有限视场的 3D 音频增强医疗培训增强现实系统
- 批准号:
1718085 - 财政年份:2017
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: Collaborative Research: Algorithms for Query by Example of Audio Databases
III:小:协作研究:以音频数据库为例的查询算法
- 批准号:
1617107 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: Collaborative Research: Algorithms for Query by Example of Audio Databases
III:小:协作研究:以音频数据库为例的查询算法
- 批准号:
1617497 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CHS: Small: Non-visual Access to Graphical Information Using a Vibro-Audio Display
CHS:小型:使用振动音频显示器以非视觉方式访问图形信息
- 批准号:
1425337 - 财政年份:2014
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant