Collaborative Research: Visual Tactile Neural Fields for Active Digital Twin Generation

合作研究:用于主动数字孪生生成的视觉触觉神经场

基本信息

  • 批准号:
    2220868
  • 负责人:
  • 金额:
    $ 27.23万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-10-01 至 2025-09-30
  • 项目状态:
    未结题

项目摘要

Robots will perform better at everyday activities when they can quickly combine their sensory data into a model of their environment, just like how humans instinctively use all their senses and knowledge to accomplish daily tasks. Robots, however, must be programmed to create these models that humans do intuitively, effortlessly, and robustly. This robotics project explores a novel algorithmic approach that combines visual and tactile sensory data with a knowledge of physics and a capability to learn that makes robot planning and reasoning more effective, efficient, and adaptable. The project includes the development and testing of research prototypes, preparation of new curriculum, and outreach to high school students and teachers and to the general public.This project introduces a new data representation, called a Visual Tactile Neural Field (VTNF), that allows robots to combine data from visual and tactile sensors to create a unified model of an object. The VTNF is designed to be used in a closed-loop manner, where a robot may use data from its physical interactions with an object to create or improve a model and may use its current understanding of a model to inform how best to interact with a physical object. Towards this end, the investigators create the mathematical techniques, computational tools, and robot hardware necessary to generate a VTNF model. The investigators also develop techniques to quantify the uncertainty about an object and use this uncertainty to learn search policies that allow robots to generate accurate models as quickly as possible. The VTNF, which allows for the easy addition of new properties about an object, provides a flexible representational foundation for other researchers and practitioners to use to enable robots to learn faster by having a more detailed understanding of both the surrounding environment and their interactions with it.This project is supported by the cross-directorate Foundational Research program in Robotics and the National Robotics Initiative, jointly managed and funded by the Directorates for Engineering (ENG) and Computer and Information Science and Engineering (CISE).This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
当机器人能够快速地将它们的感官数据联合收割机结合到它们所处环境的模型中时,它们在日常活动中的表现会更好,就像人类本能地使用所有的感官和知识来完成日常任务一样。然而,机器人必须被编程来创建这些模型,人类可以直观地,毫不费力地和健壮地创建这些模型。这个机器人项目探索了一种新的算法方法,将视觉和触觉传感数据与物理知识和学习能力相结合,使机器人规划和推理更加有效,高效和适应性强。该项目包括研究原型的开发和测试,新课程的准备,以及对高中学生和教师以及普通公众的宣传。该项目引入了一种新的数据表示,称为视觉触觉神经场(VTNF),允许机器人联合收割机将来自视觉和触觉传感器的数据结合起来,以创建一个统一的物体模型。VTNF被设计为以闭环方式使用,其中机器人可以使用来自其与对象的物理交互的数据来创建或改进模型,并且可以使用其对模型的当前理解来告知如何最好地与物理对象交互。为此,研究人员创建了生成VTNF模型所需的数学技术,计算工具和机器人硬件。研究人员还开发了量化对象不确定性的技术,并利用这种不确定性来学习搜索策略,使机器人能够尽快生成准确的模型。VTNF允许轻松添加有关对象的新属性,为其他研究人员和从业人员提供了灵活的代表性基础,使机器人能够通过更详细地了解周围环境及其与环境的相互作用来更快地学习。该项目得到了机器人跨部门基础研究计划和国家机器人计划的支持,该奖项反映了NSF的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Kostas Daniilidis其他文献

Perception-Driven Curiosity with Bayesian Surprise
感知驱动的好奇心与贝叶斯惊喜
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Bernadette Bucher;Anton Arapin;Ramanan Sekar;M. Badger;Feifei Duan;Oleh Rybkin;Kostas Daniilidis
  • 通讯作者:
    Kostas Daniilidis
Technical report on Optimization-Based Bearing-Only Visual Homing with Applications to a 2-D Unicycle Model
关于基于优化的仅轴承视觉归位及其在二维独轮车模型中的应用的技术报告
  • DOI:
  • 发表时间:
    2014
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Roberto Tron;Kostas Daniilidis
  • 通讯作者:
    Kostas Daniilidis
Template gradient matching in spherical images
球形图像中的模板梯度匹配
Predicting the Future with Transformational States
用转型国家预测未来
  • DOI:
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Andrew Jaegle;Oleh Rybkin;K. Derpanis;Kostas Daniilidis
  • 通讯作者:
    Kostas Daniilidis
Live Demonstration: Unsupervised Event-Based Learning of Optical Flow, Depth and Egomotion
现场演示:基于事件的无监督光流、深度和自我运动学习

Kostas Daniilidis的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Kostas Daniilidis', 18)}}的其他基金

RI: Medium: Learning to Map and Navigate with Vision and Language
RI:媒介:学习用视觉和语言绘制地图和导航
  • 批准号:
    2212433
  • 财政年份:
    2022
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant
RI: Medium: Collaborative Research: Closed Loop Perceptual Planning for Dynamic Locomotion
RI:中:协作研究:动态运动的闭环感知规划
  • 批准号:
    1703319
  • 财政年份:
    2017
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant
MRI: Development of an Observatory for Quantitative Analysis of Collective Behavior in Animals
MRI:开发动物集体行为定量分析观测站
  • 批准号:
    1626008
  • 财政年份:
    2016
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
I/UCRC Phase I: Robots and Sensors for the Human Well-being
I/UCRC 第一阶段:造福人类福祉的机器人和传感器
  • 批准号:
    1439681
  • 财政年份:
    2014
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant
NRI: Small: Collaborative Research: Active Sensing for Robotic Cameramen
NRI:小型:协作研究:机器人摄影师的主动传感
  • 批准号:
    1317947
  • 财政年份:
    2013
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
I-Corps: BlindNav: Indoor Navigation for the Visually Impaired
I-Corps:BlindNav:为视障人士提供室内导航
  • 批准号:
    1265129
  • 财政年份:
    2012
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
IGERT: Complex Scene Perception
IGERT:复杂场景感知
  • 批准号:
    0966142
  • 财政年份:
    2010
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant
CDI-Type II: Collaborative Research: Perception of Scene Layout by Machines and Visually Impaired Users
CDI-Type II:协作研究:机器和视障用户对场景布局的感知
  • 批准号:
    1028009
  • 财政年份:
    2010
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
CDI-Type II: Collaborative Research: Cyber Enhancement of Spatial Cognition for the Visually Impaired
CDI-Type II:协作研究:视觉障碍者空间认知的网络增强
  • 批准号:
    0835714
  • 财政年份:
    2008
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
RI: Collaborative Research: Bio-inspired Navigation
RI:合作研究:仿生导航
  • 批准号:
    0713260
  • 财政年份:
    2007
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant

相似国自然基金

Research on Quantum Field Theory without a Lagrangian Description
  • 批准号:
    24ZR1403900
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
Cell Research
  • 批准号:
    31224802
  • 批准年份:
    2012
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research
  • 批准号:
    31024804
  • 批准年份:
    2010
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Cell Research (细胞研究)
  • 批准号:
    30824808
  • 批准年份:
    2008
  • 资助金额:
    24.0 万元
  • 项目类别:
    专项基金项目
Research on the Rapid Growth Mechanism of KDP Crystal
  • 批准号:
    10774081
  • 批准年份:
    2007
  • 资助金额:
    45.0 万元
  • 项目类别:
    面上项目

相似海外基金

Collaborative Research: Using Machine Learning to Improve Visual Problem-Solving in Chemistry Education
协作研究:利用机器学习提高化学教育中的视觉问题解决能力
  • 批准号:
    2235790
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: Indigenous Northern Landscapes, Visual Repatriation, and Collaborative Knowledge Exchange
合作研究:北方本土景观、视觉归还和合作知识交流
  • 批准号:
    2330924
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: Visual Information about surface curvature from patterns of image shading and contours
合作研究:从图像阴影和轮廓图案中获取有关表面曲率的视觉信息
  • 批准号:
    2238180
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: Visual Information about surface curvature from patterns of image shading and contours
合作研究:从图像阴影和轮廓图案中获取有关表面曲率的视觉信息
  • 批准号:
    2238179
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: HCC: Medium: Modeling and Mitigating Confirmation Bias in Visual Data Analysis
合作研究:HCC:媒介:可视化数据分析中的建模和减轻确认偏差
  • 批准号:
    2311575
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: Indigenous Northern Landscapes, Visual Repatriation, and Collaborative Knowledge Exchange
合作研究:北方本土景观、视觉归还和合作知识交流
  • 批准号:
    2330923
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: Indigenous Northern Landscapes, Visual Repatriation, and Collaborative Knowledge Exchange
合作研究:北方本土景观、视觉归还和合作知识交流
  • 批准号:
    2330922
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Continuing Grant
Collaborative Research: Using Machine Learning to Improve Visual Problem-Solving in Chemistry Education
协作研究:利用机器学习提高化学教育中的视觉问题解决能力
  • 批准号:
    2235485
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: HCC: Medium: Modeling and Mitigating Confirmation Bias in Visual Data Analysis
合作研究:HCC:媒介:可视化数据分析中的建模和减轻确认偏差
  • 批准号:
    2311574
  • 财政年份:
    2023
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Understanding how visual features of misinformation influence credibility perceptions
协作研究:SaTC:核心:小:了解错误信息的视觉特征如何影响可信度认知
  • 批准号:
    2150723
  • 财政年份:
    2022
  • 资助金额:
    $ 27.23万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了