Career: Learning Multimodal Representations of the Physical World
职业:学习物理世界的多模态表示
基本信息
- 批准号:2339071
- 负责人:
- 金额:$ 59.98万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Continuing Grant
- 财政年份:2024
- 资助国家:美国
- 起止时间:2024-03-01 至 2029-02-28
- 项目状态:未结题
- 来源:
- 关键词:
项目摘要
Touch and hearing convey physical properties about the world that are difficult to perceive from vision alone. The objective of this project is to give machine perception systems the ability to form cross-modal associations between these three sensory modalities, such as the ability to predict how an object will feel or sound from sight. These cross-modal associations can also be obtained directly via sensors, making them well-suited to creating autonomous systems that learn to physically interact with the world without human-provided supervision. The project's integrated education and outreach activities will also advance an understanding of multimodal machine learning for a general audience, and for students at multiple levels.This project aims to learn material properties and microgeometry through cross-modal associations between sight, sound, and touch. It does this through four research thrusts. First, it aims to capture 3D multimodal representations by registering observations from all modalities into a unified 3D model, using estimated visual geometry to obtain dense estimates of touch and sound from sparse observations. Second, it aims to generate space-time reconstructions of objects from touch and sound during physical interaction, using cross-modal visual supervision. Third, it aims to learn material representations that capture acoustic properties, as well as methods that integrate these representations into 3D sound synthesis models. Finally, it aims to simulate and learn physical interactions within captured 3D multimodal scenes.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
触觉和听觉传达了仅凭视觉难以感知的世界的物理特性。该项目的目标是使机器感知系统能够在这三种感觉模态之间形成跨模态关联,例如预测物体的感觉或声音的能力。这些跨模态关联也可以通过传感器直接获得,这使得它们非常适合创建自主系统,这些系统可以在没有人类监督的情况下学习与世界进行物理交互。该项目的综合教育和推广活动也将促进普通观众和多层次学生对多模态机器学习的理解。该项目旨在通过视觉,声音和触觉之间的跨模态关联来学习材料属性和微观几何。它通过四个研究重点来实现这一点。首先,它的目标是通过将来自所有模态的观察记录到统一的3D模型中,使用估计的视觉几何形状从稀疏观察中获得触摸和声音的密集估计来捕获3D多模态表示。其次,它的目标是使用跨模态视觉监督,在物理交互期间根据触摸和声音生成对象的时空重建。第三,它旨在学习捕获声学特性的材料表示,以及将这些表示集成到3D声音合成模型中的方法。该奖项反映了NSF的法定使命,并通过使用基金会的智力价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Andrew Owens其他文献
Neoplasms of the parathyroid glands and brown tumours – A case study
- DOI:
10.1016/j.radi.2011.10.043 - 发表时间:
2012-02-01 - 期刊:
- 影响因子:
- 作者:
André Nunes;Khadija Muhiddin;Penny Hosking;Hesham Safar-Aly;Andrew Owens - 通讯作者:
Andrew Owens
Learning visual models from paired audio-visual examples
- DOI:
- 发表时间:
2016 - 期刊:
- 影响因子:0
- 作者:
Andrew Owens - 通讯作者:
Andrew Owens
Conditional Generation of Audio from Video via Foley Analogies
通过拟音类比从视频有条件生成音频
- DOI:
10.1109/cvpr52729.2023.00240 - 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
Yuexi Du;Ziyang Chen;J. Salamon;Bryan C. Russell;Andrew Owens - 通讯作者:
Andrew Owens
Eventfulness for Interactive Video Alignment
交互式视频对齐的多事性
- DOI:
10.1145/3592118 - 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
Jiatian Sun;Longxiuling Deng;Triantafyllos Afouras;Andrew Owens;Abe Davis - 通讯作者:
Abe Davis
The Hidden Diversity of Vascular Patterns in Flower Heads
头状花序中隐藏的维管束模式多样性
- DOI:
- 发表时间:
2023 - 期刊:
- 影响因子:0
- 作者:
Andrew Owens;Teng Zhang;Philmo Gu;Jeremy Hart;J. Stobbs;M. Cieslak;P. Elomaa;Przemyslaw Prusinkiewicz - 通讯作者:
Przemyslaw Prusinkiewicz
Andrew Owens的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
相似国自然基金
Scalable Learning and Optimization: High-dimensional Models and Online Decision-Making Strategies for Big Data Analysis
- 批准号:
- 批准年份:2024
- 资助金额:万元
- 项目类别:合作创新研究团队
Understanding structural evolution of galaxies with machine learning
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
煤矿安全人机混合群智感知任务的约束动态多目标Q-learning进化分配
- 批准号:
- 批准年份:2022
- 资助金额:30 万元
- 项目类别:青年科学基金项目
基于领弹失效考量的智能弹药编队短时在线Q-learning协同控制机理
- 批准号:62003314
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
集成上下文张量分解的e-learning资源推荐方法研究
- 批准号:61902016
- 批准年份:2019
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
具有时序迁移能力的Spiking-Transfer learning (脉冲-迁移学习)方法研究
- 批准号:61806040
- 批准年份:2018
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
基于Deep-learning的三江源区冰川监测动态识别技术研究
- 批准号:51769027
- 批准年份:2017
- 资助金额:38.0 万元
- 项目类别:地区科学基金项目
具有时序处理能力的Spiking-Deep Learning(脉冲深度学习)方法研究
- 批准号:61573081
- 批准年份:2015
- 资助金额:64.0 万元
- 项目类别:面上项目
基于有向超图的大型个性化e-learning学习过程模型的自动生成与优化
- 批准号:61572533
- 批准年份:2015
- 资助金额:66.0 万元
- 项目类别:面上项目
E-Learning中学习者情感补偿方法的研究
- 批准号:61402392
- 批准年份:2014
- 资助金额:26.0 万元
- 项目类别:青年科学基金项目
相似海外基金
Towards Evolvable and Sustainable Multimodal Machine Learning
迈向可进化和可持续的多模式机器学习
- 批准号:
DE240100105 - 财政年份:2024
- 资助金额:
$ 59.98万 - 项目类别:
Discovery Early Career Researcher Award
Class-Balanced Contrastive Learning for Multimodal Recognition
多模态识别的类平衡对比学习
- 批准号:
24K20831 - 财政年份:2024
- 资助金额:
$ 59.98万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
SCH: Dementia Early Detection for Under-represented Populations via Fair Multimodal Self-Supervised Learning
SCH:通过公平的多模式自我监督学习对代表性不足的人群进行痴呆症早期检测
- 批准号:
10816864 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Multimodal analysis using pen input data and gaze data in science and mathematics e-learning
在科学和数学电子学习中使用笔输入数据和注视数据进行多模态分析
- 批准号:
23K17589 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Grant-in-Aid for Challenging Research (Exploratory)
Optimization of monitoring, prediction and phenotyping of deterioration of inhospital patients using machine learning and multimodal real time data
使用机器学习和多模态实时数据优化住院患者病情恶化的监测、预测和表型分析
- 批准号:
10735863 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Multimodal conversation analysis of Japanese Noh classroom practice: Focusing on the interaction of teaching and learning
日本能剧课堂实践的多模态会话分析:关注教与学的互动
- 批准号:
23K12191 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Grant-in-Aid for Early-Career Scientists
Adaptive Learning Experience Enhancement of Lecture Archives Based on Watching Tendencies and Multimodal Features
基于观看倾向和多模态特征的讲座档案自适应学习体验增强
- 批准号:
23H03506 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
Prediction Model for Risk of Inpatient Falls Utilizing Multidimensional Data and Multimodal Machine Learning
利用多维数据和多模态机器学习的住院患者跌倒风险预测模型
- 批准号:
23H03130 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Grant-in-Aid for Scientific Research (B)
Collaborative Research: EAGER: Deep Learning-based Multimodal Analysis of Sleep
合作研究:EAGER:基于深度学习的睡眠多模态分析
- 批准号:
2334665 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Standard Grant
CAREER: Automated Multimodal Learning for Healthcare
职业:医疗保健自动化多模式学习
- 批准号:
2238275 - 财政年份:2023
- 资助金额:
$ 59.98万 - 项目类别:
Continuing Grant