Collaborative Research: RI: Medium: Learning Compositional Implicit Representations for 3D Scene Understanding

合作研究:RI:媒介:学习 3D 场景理解的组合隐式表示

基本信息

  • 批准号:
    2211258
  • 负责人:
  • 金额:
    $ 40万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-10-01 至 2026-09-30
  • 项目状态:
    未结题

项目摘要

Scene understanding systems take visual inputs, like images or videos, and reconstruct and interpret the underlying scene in terms of 3D structure, objects like cars and people, and other scene properties. Such systems are crucial in applications in computer vision, computer graphics, and robotics, including in self-driving cars. To represent the 3D world as observed from the input imagery, such systems use mathematical models, and in recent years neural networks have been very popular as the models used in such systems, due to their expressiveness and ability to capture fine details. However, current neural network-based scene representations are only good at modeling the specific conditions under which a scene was observed, and cannot generalize to new scenarios, limiting their use in many applications. For example, if a self-driving car is trained to model scenes using only images from sunny days, the car’s perception system might break down on rainy or snowy days. This project aims to introduce new scene modeling techniques that will enable machines to perceive and reconstruct 3D scenes in a more generalizable way. The investigators will integrate findings from this research into course development and student advising, and partner with educational and non-profit organizations to teach AI, vision, and graphics to underrepresented students. In this project, investigators will explore new methods that will make representations capable of encoding more structure (e.g., light field) and root them in physics. Designing such representations requires knowledge from AI, computer vision, and computer graphics. The key innovations include a new class of scene representations that aims to bridge the ability of implicit neural representations to capture scene details with that of physical representations to model scene structure; new methods that infer the representation from raw images and videos with new parametrizations to enable data-efficient, self-supervised learning; and new methods that leverage the representation for downstream computer vision and graphics tasks, such as interactive design and scene synthesis.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
场景理解系统获取视觉输入,如图像或视频,并根据3D结构、物体(如汽车和人)以及其他场景属性重建和解释底层场景。这类系统在计算机视觉、计算机图形学和机器人技术(包括自动驾驶汽车)中的应用至关重要。为了表示从输入图像观察到的3D世界,这样的系统使用数学模型,并且近年来神经网络由于其表现力和捕捉精细细节的能力而作为在这样的系统中使用的模型已经非常流行。然而,目前基于神经网络的场景表示仅擅长于对观察场景的特定条件进行建模,并且不能推广到新的场景,从而限制了它们在许多应用中的使用。例如,如果自动驾驶汽车接受训练,仅使用晴天的图像对场景进行建模,那么汽车的感知系统可能会在雨天或雪天发生故障。该项目旨在引入新的场景建模技术,使机器能够以更普遍的方式感知和重建3D场景。研究人员将把这项研究的结果整合到课程开发和学生咨询中,并与教育和非营利组织合作,向代表性不足的学生教授人工智能、视觉和图形。在这个项目中,研究人员将探索新的方法,使表征能够编码更多的结构(例如,光场),并将其扎根于物理学。设计这样的表示需要人工智能,计算机视觉和计算机图形学的知识。关键创新包括一类新的场景表示,旨在将隐式神经表示捕捉场景细节的能力与物理表示建模场景结构的能力联系起来;新方法,通过新的参数化从原始图像和视频中推断表示,以实现数据高效,自我监督学习;以及利用该表示进行下游计算机视觉和图形任务的新方法,如交互设计和场景合成。该奖项反映了NSF的法定使命,并通过使用基金会的学术价值和更广泛的影响审查标准。

项目成果

期刊论文数量(19)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
DisCo: Improving Compositional Generalization in Visual Reasoning through Distribution Coverage
DisCo:通过分布覆盖提高视觉推理中的构图概括
An Extensible Multimodal Multi-task Object Dataset with Materials
  • DOI:
    10.48550/arxiv.2305.14352
  • 发表时间:
    2023-04
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Trevor Scott Standley;Ruohan Gao;Dawn Chen;Jiajun Wu;S. Savarese
  • 通讯作者:
    Trevor Scott Standley;Ruohan Gao;Dawn Chen;Jiajun Wu;S. Savarese
Dynamic-Resolution Model Learning for Object Pile Manipulation
  • DOI:
    10.48550/arxiv.2306.16700
  • 发表时间:
    2023-06
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yixuan Wang;Yunzhu Li;K. Driggs-Campbell;Li Fei-Fei-Li-Fei-Fei-48004138;Jiajun Wu
  • 通讯作者:
    Yixuan Wang;Yunzhu Li;K. Driggs-Campbell;Li Fei-Fei-Li-Fei-Fei-48004138;Jiajun Wu
Learning Vortex Dynamics for Fluid Inference and Prediction
  • DOI:
    10.48550/arxiv.2301.11494
  • 发表时间:
    2023-01
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yitong Deng;Hong-Xing Yu;Jiajun Wu;Bo Zhu
  • 通讯作者:
    Yitong Deng;Hong-Xing Yu;Jiajun Wu;Bo Zhu
Multi-Object Manipulation via Object-Centric Neural Scattering Functions
通过以对象为中心的神经散射函数进行多对象操作
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Jiajun Wu其他文献

CAR-T cell toxicity: clinical manifestation, contributive factors, and recommendations
CAR-T 细胞毒性:临床表现、影响因素和建议
  • DOI:
    10.1117/12.2669625
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Haozhu Liu;Jiajun Wu
  • 通讯作者:
    Jiajun Wu
Expression and characterization of albumin fusion protein canine IFNγ-CSA in baculovirus-insect cell expression system.
清蛋白融合蛋白犬IFNγ-CSA在杆状病毒-昆虫细胞表达系统中的表达和表征。
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    1.6
  • 作者:
    Bing;Jiajun Wu;Shuzhan Zou;J. Zhai;Anni Chen;Wandi Bu;Ruiai Chen;M. Luo
  • 通讯作者:
    M. Luo
Design and implementation of hybrid force/position control for robot automation grinding aviation blade based on fuzzy PID
基于模糊PID的机器人自动化磨削航空叶片力/位置混合控制设计与实现
Mapless Navigation Based on VDAS-PPO Deep Reinforcement Learning
基于VDAS-PPO深度强化学习的无地图导航
Supplementary Materials for Repopulating Street Scenes
重建街道场景的补充材料
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yifan Wang;Andrew Liu;Richard Tucker;Jiajun Wu;B. Curless;S. Seitz;Noah Snavely
  • 通讯作者:
    Noah Snavely

Jiajun Wu的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Jiajun Wu', 18)}}的其他基金

CAREER: Physical Object Modeling for Intelligent Systems
职业:智能系统的物理对象建模
  • 批准号:
    2338203
  • 财政年份:
    2024
  • 资助金额:
    $ 40万
  • 项目类别:
    Continuing Grant
CCRI: ENS: Activity-Centric Interactive Environments for Embodied AI
CCRI:ENS:以活动为中心的嵌入式人工智能交互环境
  • 批准号:
    2120095
  • 财政年份:
    2021
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312841
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312842
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313131
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
  • 批准号:
    2313151
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Continuing Grant
Collaborative Research: RI: Medium: Principles for Optimization, Generalization, and Transferability via Deep Neural Collapse
合作研究:RI:中:通过深度神经崩溃实现优化、泛化和可迁移性的原理
  • 批准号:
    2312840
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
  • 批准号:
    2345528
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Motion Fields Understanding for Enhanced Long-Range Imaging
合作研究:RI:小型:增强远程成像的运动场理解
  • 批准号:
    2232298
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232055
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Medium: Lie group representation learning for vision
协作研究:RI:中:视觉的李群表示学习
  • 批准号:
    2313149
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Continuing Grant
Collaborative Research: CompCog: RI: Medium: Understanding human planning through AI-assisted analysis of a massive chess dataset
合作研究:CompCog:RI:中:通过人工智能辅助分析海量国际象棋数据集了解人类规划
  • 批准号:
    2312374
  • 财政年份:
    2023
  • 资助金额:
    $ 40万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了