RI:Small: Dynamic and Statistical Based Invariants on Manifolds for Video Analysis
RI:Small:用于视频分析的流形上基于动态和统计的不变量
基本信息
- 批准号:1814631
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Continuing Grant
- 财政年份:2018
- 资助国家:美国
- 起止时间:2018-09-01 至 2023-08-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Computer vision systems can benefit society in many ways. For example, spatially distributed vision sensors endowed with activity analysis capabilities can prevent crime, help optimize resource use in smart buildings, and give early warning of serious medical conditions. The most powerful computer vision systems employ an approach called "deep learning", in which simulated networks of neurons transform the input video pixels into high-level concepts. For example, in the crime example, the high-level concept might be "someone breaking into a building". A major impediment to building computer vision is that great expertise and trial-and-error is required for a programmer to design a neural network that can teach itself to recognize the goal concepts. This project will reduce this barrier by creating a set of well-designed neural network modules, or "layers", that a programmer can snap together to build a working computer vision system. Education is proactively integrated into this project, starting with STEM summer camps projects for urban middle school students and continuing at the college level with a multi-disciplinary program that uses the grand challenge of aware environments to link a full range of distinct subjects ranging from computer vision and machine learning to systems theory and optimization. At the graduate level, these activities are complemented by recruitment efforts that leverage the resources at Northeastern's University Program in Multicultural Engineering to broaden the participation of underrepresented groups in research. Computer vision has made tremendous progress in the era of deep learning. However, training of deep architectures requires learning the optimal value of a very large number of parameters through the numerical minimization of a non-convex loss function. While in practice, using stochastic gradient descent to solve this problem often "works", the analysis of what the network learned or why it failed to do so, remains an a-posteriori task requiring visualization tools to inspect which neurons are firing and possibly to look at intermediate results. This research seeks to address this issue by incorporating a set of structured layers to current deep architectures, designed using dynamical systems theory and statistics fundamentals, which capture spatio-temporal information across multiple scales. At its core is a unified vision, invariants on latent space manifolds as information encapsulators, that emphasizes robustness and computational complexity issues. Advantages of the proposed layers include the ability to easily understand what they learn, since they are based on first principles; shallower networks with a reduction of the number of parameters that needs to be learned due to the high expressive power of the new layers; and requiring less annotated data, by providing efficient ways to transfer knowledge between domains and to synthesize realistic data.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
计算机视觉系统可以在许多方面造福社会。例如,具有活动分析能力的空间分布式视觉传感器可以预防犯罪,帮助智能建筑优化资源利用,并对严重的医疗状况进行预警。最强大的计算机视觉系统采用一种称为“深度学习”的方法,其中模拟神经元网络将输入的视频像素转换为高级概念。例如,在犯罪的例子中,高级概念可能是“某人闯入建筑物”。构建计算机视觉的一个主要障碍是,程序员需要大量的专业知识和反复试验才能设计出一个能够自学识别目标概念的神经网络。这个项目将通过创建一组精心设计的神经网络模块或“层”来减少这一障碍,程序员可以将这些模块组合在一起,构建一个工作的计算机视觉系统。从面向城市中学生的STEM夏令营项目开始,到大学阶段的多学科项目,将教育主动融入该项目,该项目利用感知环境的巨大挑战,将从计算机视觉和机器学习到系统理论和优化的各种不同学科联系起来。在研究生阶段,这些活动通过招聘工作来补充,利用东北大学多元文化工程项目的资源,扩大代表性不足群体在研究中的参与。计算机视觉在深度学习时代取得了巨大的进步。然而,深度架构的训练需要通过非凸损失函数的数值最小化来学习大量参数的最优值。虽然在实践中,使用随机梯度下降来解决这个问题通常“有效”,但分析网络学习了什么或为什么它没有这样做,仍然是一项后验任务,需要可视化工具来检查哪些神经元正在放电,并可能查看中间结果。本研究试图通过将一组结构化层整合到当前的深层架构中来解决这个问题,这些深层架构使用动态系统理论和统计学基础设计,可以捕获跨多个尺度的时空信息。其核心是一个统一的愿景,隐空间流形上的不变量作为信息封装器,强调鲁棒性和计算复杂性问题。所提议的层的优点包括:能够很容易地理解它们所学习的内容,因为它们是基于第一原则的;较浅的网络,由于新层的高表达能力,需要学习的参数数量减少;通过提供有效的方法在领域之间传递知识和合成真实的数据,并且需要较少的注释数据。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(10)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
An Algebraic Approach to Efficient Identification of a Class of Wiener Systems
一类维纳系统高效辨识的代数方法
- DOI:10.1016/j.ifacol.2020.12.1320
- 发表时间:2020
- 期刊:
- 影响因子:0
- 作者:Ozbay, B.;Sznaier, M.;Camps, O.
- 通讯作者:Camps, O.
Efficient Identification of Error-in-Variables Switched Systems via a Sum-of-Squares Polynomial Based Subspace Clustering Method
通过基于多项式平方和的子空间聚类方法有效识别变量切换系统
- DOI:10.1109/cdc40024.2019.9029570
- 发表时间:2019
- 期刊:
- 影响因子:0
- 作者:Ozbay, B.;Camps, O.;Sznaier, M.
- 通讯作者:Sznaier, M.
A Data Driven, Convex Optimization Approach to Learning Koopman Operators}
学习 Koopman 算子的数据驱动凸优化方法}
- DOI:
- 发表时间:2021
- 期刊:
- 影响因子:0
- 作者:Sznaier, M.
- 通讯作者:Sznaier, M.
Learning Object-Centric Dynamic Modes from Video and Emerging Properties
从视频和新兴属性中学习以对象为中心的动态模式
- DOI:
- 发表时间:2023
- 期刊:
- 影响因子:0
- 作者:Comas, A.;Fernandez Lopez C.;Ghimire, S.;Li, H.;Sznaier, M.;Camps, O.
- 通讯作者:Camps, O.
Chordal Decomposition in Rank Minimized Semidefinite Programs with Applications to Subspace Clustering
- DOI:10.1109/cdc40024.2019.9029620
- 发表时间:2019-04
- 期刊:
- 影响因子:0
- 作者:Jared Miller;Yang Zheng;Biel Roig-Solvas;M. Sznaier;A. Papachristodoulou
- 通讯作者:Jared Miller;Yang Zheng;Biel Roig-Solvas;M. Sznaier;A. Papachristodoulou
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Octavia Camps其他文献
Face Reconstruction Transfer Attack as Out-of-Distribution Generalization
作为分布外泛化的人脸重建转移攻击
- DOI:
- 发表时间:
2024 - 期刊:
- 影响因子:0
- 作者:
Yoon Gyo Jung;Jaewoo Park;Xingbo Dong;Hojin Park;Andrew Beng Jin Teoh;Octavia Camps - 通讯作者:
Octavia Camps
Octavia Camps的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Octavia Camps', 18)}}的其他基金
RI: Small: Dynamic Invariants for Video Scenes Understanding
RI:小:视频场景理解的动态不变量
- 批准号:
1318145 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Systems Theoretic Methods for Dynamic Problems in Computer Vision
计算机视觉中动态问题的系统理论方法
- 批准号:
0713003 - 财政年份:2007
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
ITR: Robust Ad-Hoc Active Vision Networks and Applications
ITR:强大的 Ad-Hoc 主动视觉网络和应用程序
- 批准号:
0647116 - 财政年份:2006
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
ITR: Robust Ad-Hoc Active Vision Networks and Applications
ITR:强大的 Ad-Hoc 主动视觉网络和应用程序
- 批准号:
0312558 - 财政年份:2003
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
SGER: Robust Multiobjective Active Vision Systems
SGER:稳健的多目标主动视觉系统
- 批准号:
9911161 - 财政年份:1999
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Object Recognition in Cluttered Scenes Using Appearance-Based Parts and Relationships
使用基于外观的部分和关系在杂乱场景中进行对象识别
- 批准号:
9712598 - 财政年份:1997
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
CISE Research Instrumentation: Robust Purposive Vision Laboratory
CISE 研究仪器:稳健的目的视觉实验室
- 批准号:
9529460 - 财政年份:1996
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RIA: Robust 3D Object Recognition Using Uncertain 2D Image Data
RIA:使用不确定的 2D 图像数据进行稳健的 3D 对象识别
- 批准号:
9309100 - 财政年份:1993
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
相似国自然基金
昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
- 批准号:32000033
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
- 批准号:31972324
- 批准年份:2019
- 资助金额:58.0 万元
- 项目类别:面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
- 批准号:81900988
- 批准年份:2019
- 资助金额:21.0 万元
- 项目类别:青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
- 批准号:31870821
- 批准年份:2018
- 资助金额:56.0 万元
- 项目类别:面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
- 批准号:31802058
- 批准年份:2018
- 资助金额:26.0 万元
- 项目类别:青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
- 批准号:31772128
- 批准年份:2017
- 资助金额:60.0 万元
- 项目类别:面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
- 批准号:81704176
- 批准年份:2017
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
- 批准号:91640114
- 批准年份:2016
- 资助金额:85.0 万元
- 项目类别:重大研究计划
相似海外基金
RI: Small: Toward Efficient and Robust Dynamic Scene Understanding Based on Visual Correspondences
RI:小:基于视觉对应的高效、鲁棒的动态场景理解
- 批准号:
2310254 - 财政年份:2023
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Local and Forward-Oriented Deep Learning for Decentralized and Dynamic Environments
RI:小型:用于分散和动态环境的本地和前向深度学习
- 批准号:
2212097 - 财政年份:2022
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Neural Sequences as a Robust Dynamic Regime for Spatiotemporal Time Invariant Computations.
RI:小:神经序列作为时空时不变计算的鲁棒动态机制。
- 批准号:
2008741 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: SMALL: Robust Inference and Influence in Dynamic Environments
RI:小:动态环境中的鲁棒推理和影响
- 批准号:
1907907 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Collaborative Research: Dynamic Light Transport Acquisition and Applications to Computational Illumination
RI:小型:合作研究:动态光传输采集及其在计算照明中的应用
- 批准号:
1909729 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: A Study of Agent's Expectations for Nondeterministic and Dynamic Domains
RI:小:代理对非确定性和动态域的期望的研究
- 批准号:
1909879 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
RI: Small: Collaborative Research: Dynamic Light Transport Acquisition and Applications to Computational Illumination
RI:小型:合作研究:动态光传输采集及其在计算照明中的应用
- 批准号:
1909192 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Sparse Predictive Coding for Energy Efficient Visual Navigation in Dynamic Environments
RI:小型:动态环境中节能视觉导航的稀疏预测编码
- 批准号:
1813785 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Fast and Accurate Natural Language Parsing and Generation by Marrying Deep Learning with Dynamic Programming
RI:小型:将深度学习与动态规划相结合,快速准确地进行自然语言解析和生成
- 批准号:
1817231 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
RI: Small: Dynamic Payload Transport and Manipulation by Teams of Cooperating Mobile Robotic-Cranes
RI:小型:协作移动机器人起重机团队的动态有效负载运输和操纵
- 批准号:
1710898 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant