RI: Small: Sparse Predictive Coding for Energy Efficient Visual Navigation in Dynamic Environments
RI:小型:动态环境中节能视觉导航的稀疏预测编码
基本信息
- 批准号:1813785
- 负责人:
- 金额:$ 45万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2018
- 资助国家:美国
- 起止时间:2018-10-01 至 2023-09-30
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
This project develops efficient machine vision algorithms inspired by the architecture and energetic efficiency of the primate visual system for motion processing. Navigating through a rich cluttered natural environment, while both the observer and the objects in the scene are moving, is a difficult problem in machine vision, particularly for real-time processing under power constraints. However, humans and other animals perform these tasks with ease. The nervous system is under tight metabolic constraints and this leads to incredibly efficient representations of important environmental features, such as the observer's heading, the depth of objects, and the motion of objects. In addition, these efficient machine vision algorithms can be applied to robotics, the IoT, and edge processing. The algorithms can be applied to a wide range of applications, including augmented reality, assistive robotics, autonomous vehicles, and the Internet of Things (IoT) Thus, they could have a transformative economic and societal impact by creating applications that can operate autonomously over long periods in remote locations.Inspired by ability of the nervous system to efficiently encode and appropriately respond to the visual features that make up a dynamic scene, the algorithm uses sparse predictive coding techniques to process data streams from cameras. Because the algorithms can be realized in spiking neural networks, where the artificial neurons only send signals when an event occurs, they can run efficiently on low powered neuromorphic systems; computers that support such representations. By employing an architecture inspired by the brain, where op-down signals from the frontal cortex and parietal cortex predict where objects will be in the future, the system will have better object tracking and overcome difficulties when objects become hidden from view. These representations are sparse and reduced, leading to energy efficient processing, less computation, and thus low power consumption. In summary, the machine vision algorithms: (1) increase our understanding of how the brain encodes behaviorally relevant signals in the world, (2) lead to computationally efficient handling of large data streams, and (3) realize power efficient processing for a wide range of embedded applications.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
该项目开发了高效的机器视觉算法,灵感来自灵长类动物视觉系统的结构和能量效率,用于运动处理。在一个丰富而混乱的自然环境中导航,同时观察者和场景中的物体都在移动,这是机器视觉中的一个难题,特别是在功率限制下的实时处理。然而,人类和其他动物可以轻松地完成这些任务。神经系统受到严格的代谢限制,这导致了对重要环境特征的高效表征,比如观察者的方向、物体的深度和物体的运动。此外,这些高效的机器视觉算法可以应用于机器人、物联网和边缘处理。这些算法可以应用于广泛的应用,包括增强现实、辅助机器人、自动驾驶汽车和物联网(IoT),因此,通过创建可以在偏远地区长期自主运行的应用程序,它们可以产生变革性的经济和社会影响。受神经系统对构成动态场景的视觉特征进行有效编码和适当响应的能力的启发,该算法使用稀疏预测编码技术来处理来自相机的数据流。由于算法可以在尖峰神经网络中实现,在尖峰神经网络中,人工神经元只在事件发生时发送信号,因此它们可以在低功耗的神经形态系统上高效运行;支持这种表示的计算机。该系统采用了一种受大脑启发的结构,即来自额叶皮层和顶叶皮层的自上而下信号预测物体未来的位置,从而可以更好地跟踪物体,并克服物体隐藏在视线之外时的困难。这些表示是稀疏和简化的,从而导致高效的处理,更少的计算,从而降低功耗。总之,机器视觉算法:(1)增加我们对大脑如何编码世界中的行为相关信号的理解,(2)导致对大数据流的计算效率处理,以及(3)为广泛的嵌入式应用实现节能处理。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(7)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Cortical Motion Perception Emerges from Dimensionality Reduction with Evolved Spike-Timing-Dependent Plasticity Rules
皮层运动感知来自降维,并具有进化的尖峰时间依赖性可塑性规则
- DOI:10.1523/jneurosci.0384-22.2022
- 发表时间:2022
- 期刊:
- 影响因子:0
- 作者:Chen, Kexin;Beyeler, Michael;Krichmar, Jeffrey L.
- 通讯作者:Krichmar, Jeffrey L.
Achieving efficient interpretability of reinforcement learning via policy distillation and selective input gradient regularization
- DOI:10.1016/j.neunet.2023.01.025
- 发表时间:2023-01
- 期刊:
- 影响因子:0
- 作者:Jinwei Xing;Takashi Nagata;Xinyun Zou;E. Neftci;J. Krichmar
- 通讯作者:Jinwei Xing;Takashi Nagata;Xinyun Zou;E. Neftci;J. Krichmar
Sparse Representations for Object- and Ego-Motion Estimations in Dynamic Scenes
- DOI:10.1109/tnnls.2020.3006467
- 发表时间:2020-07
- 期刊:
- 影响因子:10.4
- 作者:H. Kashyap;Charless C. Fowlkes;J. Krichmar
- 通讯作者:H. Kashyap;Charless C. Fowlkes;J. Krichmar
Predicting Camera Viewpoint Improves Cross-dataset Generalization for 3D Human Pose Estimation
- DOI:10.1007/978-3-030-66096-3_36
- 发表时间:2020-04
- 期刊:
- 影响因子:0
- 作者:Zhe Wang;Daeyun Shin;Charless C. Fowlkes
- 通讯作者:Zhe Wang;Daeyun Shin;Charless C. Fowlkes
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
- DOI:10.1109/cvpr46437.2021.01550
- 发表时间:2021-06
- 期刊:
- 影响因子:0
- 作者:Yunhan Zhao;Shu Kong;Charless C. Fowlkes
- 通讯作者:Yunhan Zhao;Shu Kong;Charless C. Fowlkes
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Jeffrey Krichmar其他文献
NEUROROBOTICS: NEUROBIOLOGICALLY INSPIRED ROBOTS
神经机器人:受神经生物学启发的机器人
- DOI:
10.1037/e584072011-012 - 发表时间:
2016 - 期刊:
- 影响因子:0
- 作者:
Jeffrey Krichmar - 通讯作者:
Jeffrey Krichmar
Jeffrey Krichmar的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Jeffrey Krichmar', 18)}}的其他基金
RI: Medium: Collaborative Research: BCSP: Automated Parameter Tuning of Large-Scale Spiking Neural Networks
RI:媒介:协作研究:BCSP:大规模尖峰神经网络的自动参数调整
- 批准号:
1302125 - 财政年份:2013
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
RI: Large: Collaborative Research: Understanding Uncertainty in Rats and Robots
RI:大型:合作研究:了解老鼠和机器人的不确定性
- 批准号:
0910710 - 财政年份:2009
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
EMT/BSSE: A Controller for Autonomous Systems Based on Principles of Vertebrate Neuromodulation
EMT/BSSE:基于脊椎动物神经调节原理的自主系统控制器
- 批准号:
0829752 - 财政年份:2008
- 资助金额:
$ 45万 - 项目类别:
Continuing Grant
相似国自然基金
昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
- 批准号:32000033
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
- 批准号:31972324
- 批准年份:2019
- 资助金额:58.0 万元
- 项目类别:面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
- 批准号:81900988
- 批准年份:2019
- 资助金额:21.0 万元
- 项目类别:青年科学基金项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
- 批准号:31802058
- 批准年份:2018
- 资助金额:26.0 万元
- 项目类别:青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
- 批准号:31870821
- 批准年份:2018
- 资助金额:56.0 万元
- 项目类别:面上项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
- 批准号:31772128
- 批准年份:2017
- 资助金额:60.0 万元
- 项目类别:面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
- 批准号:81704176
- 批准年份:2017
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
- 批准号:91640114
- 批准年份:2016
- 资助金额:85.0 万元
- 项目类别:重大研究计划
相似海外基金
Collaborative Research: CIF: Small: Robust Machine Learning under Sparse Adversarial Attacks
协作研究:CIF:小型:稀疏对抗攻击下的鲁棒机器学习
- 批准号:
2236484 - 财政年份:2023
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
CIF: Small: Projective limits of sparse graphs
CIF:小:稀疏图的投影极限
- 批准号:
2311160 - 财政年份:2023
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Robust Machine Learning under Sparse Adversarial Attacks
协作研究:CIF:小型:稀疏对抗攻击下的鲁棒机器学习
- 批准号:
2236483 - 财政年份:2023
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Deep Sparse Models: Analysis and Algorithms
合作研究:CIF:小型:深度稀疏模型:分析和算法
- 批准号:
2240708 - 财政年份:2022
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
Ultra-small sparse matrix serial computation mechanism with memory transpose
带内存转置的超小型稀疏矩阵串行计算机制
- 批准号:
22K19775 - 财政年份:2022
- 资助金额:
$ 45万 - 项目类别:
Grant-in-Aid for Challenging Research (Exploratory)
OAC: Small: Data Locality Optimization for Sparse Matrix/Tensor Computations
OAC:小型:稀疏矩阵/张量计算的数据局部性优化
- 批准号:
2009007 - 财政年份:2020
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Deep Sparse Models: Analysis and Algorithms
合作研究:CIF:小型:深度稀疏模型:分析和算法
- 批准号:
2007649 - 财政年份:2020
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
Collaborative Research: CIF: Small: Deep Sparse Models: Analysis and Algorithms
合作研究:CIF:小型:深度稀疏模型:分析和算法
- 批准号:
2008460 - 财政年份:2020
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
RI: Small: Sparse Reconfigurable Artificial Neural Systems: Optimal Neuron Selection and Generalization
RI:小型:稀疏可重构人工神经系统:最优神经元选择和泛化
- 批准号:
1908866 - 财政年份:2019
- 资助金额:
$ 45万 - 项目类别:
Standard Grant
CIF: Small: Collaborative Research: Sparse and Low Rank Methods for Imbalanced and Heterogeneous Data
CIF:小型:协作研究:针对不平衡和异构数据的稀疏和低秩方法
- 批准号:
1922840 - 财政年份:2018
- 资助金额:
$ 45万 - 项目类别:
Standard Grant