RI: Small: Learning 3D Equivariant Visual Representation for Animals

RI:小:学习动物的 3D 等变视觉表示

基本信息

  • 批准号:
    2202024
  • 负责人:
  • 金额:
    $ 50.17万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-10-01 至 2025-09-30
  • 项目状态:
    未结题

项目摘要

Recent advances in computer vision make it possible to track humans in the wild with remarkable accuracy. Generalizing these new approaches towards diverse animal species, however, is still premature, despite the significant scientific and societal impact on multiple disciplines such as biology, neuroscience, and medicine. These approaches are built upon a supervised learning paradigm that requires sizable annotated data, but attaining comparable annotated visual data for animal species is fundamentally infeasible, as it requires expert knowledge and there is limited availability of species-specific images, leading to a large bias in the tracking models. In this research project, the investigator will develop new computer vision theories and algorithms that can effectively explore a large or potentially infinite number of unlabeled images of animals. The developed fundamentals are generic, and therefore readily applicable, with some modifications, to similar computer vision tasks, such as 2D/3D human pose estimation, deformable object registration, and dense correspondence estimation. The project integrates research with education and outreaches to K-12 students of under-represented groups through a series of programs.While the primary focus of this research program is on learning a visual representation of animals, this project addresses a core computer vision problem of landmark localization/keypoint detection/pose estimation given a limited amount of labeled data. The project will make use of 3D equivariance, an intrinsic property in visual data of articulated deformable objects, to uncover shared and repeatable visual relationships across views, time, and species. The investigator will integrate the proposed equivariance through 3D reconstruction of animals into representation learning, which will facilitate the transfer of visual information from one image to another. More specifically, the project will work on: (1) a new multiview geometry to learn the visual transformation across views, which allows cross-view self-supervision; (2) a re-formulation of non-rigid structure from motion, parametrized by 3D pose to enable learning from monocular videos; and (3) disentanglement of appearance and 3D pose to learn the visual transformation across species.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
计算机视觉的最新进展使在野外以惊人的精度跟踪人类成为可能。然而,尽管这些新方法对生物学、神经科学和医学等多个学科产生了重大的科学和社会影响,但将这些新方法推广到不同的动物物种仍然为时过早。这些方法建立在监督学习范式的基础上,需要大量的注释数据,但获得动物物种的可比注释视觉数据从根本上是不可行的,因为它需要专业知识,而且物种特定图像的可获得性有限,导致跟踪模型存在很大偏差。在这个研究项目中,研究人员将开发新的计算机视觉理论和算法,可以有效地探索大量或潜在无限数量的未标记动物图像。开发的基本原理是通用的,因此经过一些修改很容易应用于类似的计算机视觉任务,例如2D/3D人体姿势估计、可变形对象配准和密集对应估计。该项目将研究与教育相结合,并通过一系列计划为代表不足的群体的K-12学生提供外展服务。虽然该研究计划的主要重点是学习动物的视觉表征,但该项目解决了在有限数量的标记数据下的地标定位/关键点检测/姿势估计的核心计算机视觉问题。该项目将利用3D等差,这是关节可变形物体视觉数据的内在属性,以揭示跨视图、时间和物种的共享和可重复的视觉关系。研究人员将通过动物的3D重建将所提出的等方差整合到表征学习中,这将促进视觉信息从一幅图像转移到另一幅图像。更具体地说,该项目将致力于:(1)新的多视角几何学,以学习跨视点的视觉转换,允许跨视点自我监督;(2)从运动中重新制定非刚性结构,通过3D姿势进行参数化,以能够从单目视频中学习;以及(3)外观和3D姿势的分离,以学习跨物种的视觉转换。该奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(2)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
OpenMonkeyChallenge: Dataset and Benchmark Challenges for Pose Estimation of Non-human Primates.
  • DOI:
    10.1007/s11263-022-01698-2
  • 发表时间:
    2023-01
  • 期刊:
  • 影响因子:
    19.5
  • 作者:
    Yao, Yuan;Bala, Praneet;Mohan, Abhiraj;Bliss-Moreau, Eliza;Coleman, Kristine;Freeman, Sienna M.;Machado, Christopher J.;Raper, Jessica;Zimmermann, Jan;Hayden, Benjamin Y.;Park, Hyun Soo
  • 通讯作者:
    Park, Hyun Soo
Self-supervised Secondary Landmark Detection via 3D Representation Learning
  • DOI:
    10.1007/s11263-023-01804-y
  • 发表时间:
    2023-06-01
  • 期刊:
  • 影响因子:
    19.5
  • 作者:
    Bala, Praneet;Zimmermann, Jan;Hayden, Benjamin Y.
  • 通讯作者:
    Hayden, Benjamin Y.
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Hyun Soo Park其他文献

872: A comparison of Ritodrine and Magnesium sulfate for preterm labor: a randomized clinical trial
  • DOI:
    10.1016/j.ajog.2019.11.885
  • 发表时间:
    2020-01-01
  • 期刊:
  • 影响因子:
  • 作者:
    Young Mi Jung;Seung Mi Lee;Sun Min Kim;Byoung Jae Kim;Seokyung Han;Jeong Woo Park;Hyun Soo Park;Kyung A. Lee;Chan-Wook Park;Jong Kwan Jun;Joong Shin Park
  • 通讯作者:
    Joong Shin Park
An Extended Workspace Mapping Algorithm and its Implementation in a Nuclear Tele-Robotic Control System
  • DOI:
    10.1016/s1474-6670(17)49861-2
  • 发表时间:
    1992-09-01
  • 期刊:
  • 影响因子:
  • 作者:
    Young Soo Park;Woo Tae Jeong;Ji Sup Yoon;Jae Sol Lee;Hyun Soo Park;Hyung Suck Cho
  • 通讯作者:
    Hyung Suck Cho
Absorption of NOx in packed column (II)
  • DOI:
    10.1007/bf02697336
  • 发表时间:
    1990-01-01
  • 期刊:
  • 影响因子:
    3.200
  • 作者:
    Hoo Kun Lee;Myeong Soo Jeong;Joo Wan Park;Hyun Soo Park;Jong Hyun Cho
  • 通讯作者:
    Jong Hyun Cho
Motion-Based Temporal Alignment of Independently Moving Cameras
独立移动相机基于运动的时间对齐
3D-printed multifunctional materials enabled by artificial-intelligence-assisted fabrication technologies
通过人工智能辅助制造技术实现的 3D 打印多功能材料
  • DOI:
    10.1038/s41578-020-00235-2
  • 发表时间:
    2020-10-12
  • 期刊:
  • 影响因子:
    86.200
  • 作者:
    Zhijie Zhu;Daniel Wai Hou Ng;Hyun Soo Park;Michael C. McAlpine
  • 通讯作者:
    Michael C. McAlpine

Hyun Soo Park的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Hyun Soo Park', 18)}}的其他基金

NCS-FO: Neural Correlates of Social States in Macaques
NCS-FO:猕猴社会状态的神经相关性
  • 批准号:
    2024581
  • 财政年份:
    2020
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: NRI: INT: Dense 3D Reconstruction of Dynamic Actors in Natural Environments using Multiple Flying Cameras
合作研究:NRI:INT:使用多个飞行摄像机对自然环境中的动态演员进行密集 3D 重建
  • 批准号:
    2022894
  • 财政年份:
    2020
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
MRI: Development of Real-time 3D Social Signal Imaging System (SSIS)
MRI:实时 3D 社交信号成像系统 (SSIS) 的开发
  • 批准号:
    1919965
  • 财政年份:
    2019
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
CAREER: Raster Multiview Algebra for Unlabeled Visual Data Exploration
职业:用于无标签视觉数据探索的栅格多视图代数
  • 批准号:
    1846031
  • 财政年份:
    2019
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Continuing Grant
CRII: RI: Towards Learning Skills from First Person Demonstrations
CRII:RI:从第一人称演示中学习技能
  • 批准号:
    1755895
  • 财政年份:
    2018
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
NRI: Large: Collaborative Research: Human-robot Coordinated Manipulation and Transportation of Large Objects
NRI:大型:协作研究:大型物体的人机协调操纵和运输
  • 批准号:
    1328722
  • 财政年份:
    2013
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Continuing Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313131
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Deep Constrained Learning for Power Systems
合作研究:RI:小型:电力系统的深度约束学习
  • 批准号:
    2345528
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232055
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
CISE-ANR: RI: Small: Numerically efficient reinforcement learning for constrained systems with super-linear convergence (NERL)
CISE-ANR:RI:小:具有超线性收敛 (NERL) 的约束系统的数值高效强化学习
  • 批准号:
    2315396
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2232054
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
RI: Small: Approximate Inference for Planning and Reinforcement Learning
RI:小:规划和强化学习的近似推理
  • 批准号:
    2246261
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Foundations of Few-Round Active Learning
协作研究:RI:小型:少轮主动学习的基础
  • 批准号:
    2313130
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: End-to-end Learning of Fair and Explainable Schedules for Court Systems
合作研究:RI:小型:法院系统公平且可解释的时间表的端到端学习
  • 批准号:
    2334936
  • 财政年份:
    2023
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: AF: Small: Long-Term Impact of Fair Machine Learning under Strategic Individual Behavior
合作研究:RI:AF:小:战略性个人行为下公平机器学习的长期影响
  • 批准号:
    2202699
  • 财政年份:
    2022
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
Collaborative Research: RI: Small: Advancing Theory and Practice of Trustworthy Machine Learning via Bi-Level Optimization
合作研究:RI:小型:通过双层优化推进可信机器学习的理论和实践
  • 批准号:
    2207052
  • 财政年份:
    2022
  • 资助金额:
    $ 50.17万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了