CSR: Small: Reconfigurable In-Sensor Architectures for High Speed and Low Power In-situ Image Analysis

CSR:小型:可重构传感器内架构,用于高速、低功耗原位图像分析

基本信息

  • 批准号:
    1618606
  • 负责人:
  • 金额:
    $ 47.79万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Continuing Grant
  • 财政年份:
    2016
  • 资助国家:
    美国
  • 起止时间:
    2016-10-01 至 2019-09-30
  • 项目状态:
    已结题

项目摘要

Cameras are pervasively used for surveillance and monitoring applications and can capture a substantial amount of image data. The processing of this data, however, is either performed a posteriori or at powerful backend servers. While a posteriori and non-real-time video analysis may be sufficient for certain groups of applications, it does not suffice for applications such as autonomous navigation in complex environments, or hyper spectral image analysis using cameras on drones, that require near real-time video and image analysis, sometimes under SWAP (Size Weight and Power) constraints. This work hypothesizes that future data challenges in real-time imaging can be overcome by pushing computation into the image sensor. Such systems will exploit the massive parallel nature of sensor arrays to reduce the amount of data analyzed at the processing unit. To this end, vertically integrated technology, such as focal plane sensor processors (FPSP), have been developed to overcome the limitations of conventional image processing systems. While some of these devices are programmable and offer the benefits of close-to-sensor processing such as performance and bandwidth reduction, they exhibit many drawbacks. For instance, each column of pixels is handled by a single processor, which reduces the parallelism and all pixels are treated equally and processed at the same rate, despite differences in input relevance for the application at hand. Consequently, systems spend more time spinning on non-relevant data, which increases sensing and computation time and power consumption. Research on FPSPs has mostly focused on technology aspects with some proof of concepts. Architectural design approaches, that involve high-level synthesis with the goal of mapping applications to low-level architectures, have not gained a lot of attention.To overcome the limitations of existing architectures, the goal of this research is the design of a highly parallel, hierarchical, reconfigurable and vertically-integrated 3D sensing-computing architecture (XPU), along with high-level synthesis methods for real-time, low-power video analysis. The architecture is composed of hierarchical intertwined planes, each of which consists of computational units called XPUs. The lowest-level plane processes pixels in parallel to determine low level shapes in an image while higher-level planes use outputs from low-level planes to infer global features in the image. The proposed architecture presents three novel contributions: a hierarchical, configurable architecture for parallel feature extraction in video streams, a machine learning based relevance-feedback method that adapts computational performance and resource usage to input data relevance, and a framework for converting sequential image processing algorithms to multiple layers of parallel computational processing units in the sensor. The results of this projects can be used in other fields, where large amounts of processing need to be performed on data collected by generic sensors deployed in the field. Furthermore, mechanisms for translating sequential constructs into functionally equivalent accelerators using hardware constructs will lead to highly parallel and efficient sensing units that can perform domain specific tasks more efficiently.
相机广泛用于监视和监控应用,并且可以捕获大量的图像数据。然而,这些数据的处理要么是在后验中执行的,要么是在强大的后端服务器上执行的。虽然后验和非实时视频分析对于某些应用组可能是足够的,但它不足以用于诸如复杂环境中的自主导航或使用无人机上的相机的超光谱图像分析等应用,这些应用需要接近实时的视频和图像分析,有时在SWAP(尺寸重量和功率)约束下。这项工作假设,未来的实时成像数据的挑战,可以通过推动计算到图像传感器克服。这种系统将利用传感器阵列的大规模并行特性来减少处理单元分析的数据量。为此,已经开发了诸如焦平面传感器处理器(FPSP)的垂直集成技术来克服传统图像处理系统的限制。虽然这些设备中的一些是可编程的,并提供接近传感器处理的好处,如性能和带宽减少,但它们表现出许多缺点。例如,每列像素由单个处理器处理,这降低了并行性,并且所有像素都被平等地对待并以相同的速率处理,而不管手头应用的输入相关性的差异。因此,系统花费更多的时间在不相关的数据上,这增加了感测和计算时间以及功耗。FPSP的研究主要集中在技术方面,并进行了一些概念验证。为了克服现有体系结构的局限性,本研究的目标是设计一种高度并行、层次化、可重构和垂直集成的三维传感计算体系结构(XPU),沿着高级综合方法,以实现实时、可重构和可重构的三维传感计算。低功耗视频分析该架构由分层交织的平面组成,每个平面由称为XPU的计算单元组成。最低级平面并行处理像素以确定图像中的低级形状,而较高级平面使用来自低级平面的输出来推断图像中的全局特征。所提出的架构提出了三个新的贡献:一个分层的,可配置的架构,并行特征提取视频流,基于机器学习的相关性反馈方法,适应计算性能和资源使用输入数据的相关性,和一个框架,用于转换顺序图像处理算法的多层并行计算处理单元的传感器。该项目的结果可以用于其他领域,其中需要对部署在现场的通用传感器收集的数据进行大量处理。此外,用于使用硬件构造将顺序构造转换成功能上等效的加速器的机制将导致可以更有效地执行域特定任务的高度并行和高效的感测单元。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Christophe Bobda其他文献

Application of ASP for Automatic Synthesis of Flexible Multiprocessor Systems from Parallel Programs
ASP在并行程序自动综合灵活多处理器系统中的应用
  • DOI:
    10.1007/978-3-642-04238-6_64
  • 发表时间:
    2009
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Harold Ishebabi;Philipp Mahr;Christophe Bobda;Martin Gebser;Torsten Schaub
  • 通讯作者:
    Torsten Schaub
Heuristics for Flexible CMP Synthesis
灵活 CMP 合成的启发式方法
  • DOI:
    10.1109/tc.2010.77
  • 发表时间:
    2010
  • 期刊:
  • 影响因子:
    3.7
  • 作者:
    Harold Ishebabi;Christophe Bobda
  • 通讯作者:
    Christophe Bobda
On-chip transactional memory system for FPGAs using TCC model
使用 TCC 模型的 FPGA 片上事务存储系统
  • DOI:
    10.1145/1667520.1667525
  • 发表时间:
    2009
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Philipp Mahr;Alexander Heine;Christophe Bobda
  • 通讯作者:
    Christophe Bobda
Hierarchical Design of a Secure Image Sensor with Dynamic Reconfiguration

Christophe Bobda的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Christophe Bobda', 18)}}的其他基金

Travel: NSF Student Travel Grant for The 32nd IEEE International Symposium On Field-Programmable Custom Computing Machines (FCCM 2024)
旅行:第 32 届 IEEE 国际现场可编程定制计算机研讨会 (FCCM 2024) 的 NSF 学生旅行补助金
  • 批准号:
    2411045
  • 财政年份:
    2024
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Medium: Heterogeneous Architecture for Collaborative Machine Learning
协作研究:SHF:媒介:协作机器学习的异构架构
  • 批准号:
    2106610
  • 财政年份:
    2021
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Continuing Grant
NSF Student Travel Grant for 2020 IEEE International Symposium On Field-Programmable Custom Computing Machines (FCCM 2020)
NSF 学生旅费资助 2020 年 IEEE 国际现场可编程定制计算机研讨会 (FCCM 2020)
  • 批准号:
    2016161
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
CNS Core: Small: A Hardware/Software Infrastructure for Secured Multi-Tenancy in FPGA-Accelerated Cloud and Datacenters
CNS 核心:小型:用于 FPGA 加速云和数据中心中安全多租户的硬件/软件基础设施
  • 批准号:
    2007320
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Decentralized Edge Computing Platform for Privacy-Preserving Mobile Crowdsensing
合作研究:SHF:小型:用于保护隐私的移动群体感知的去中心化边缘计算平台
  • 批准号:
    2007210
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
CSR: Small: Reconfigurable In-Sensor Architectures for High Speed and Low Power In-situ Image Analysis
CSR:小型:可重构传感器内架构,用于高速、低功耗原位图像分析
  • 批准号:
    1946088
  • 财政年份:
    2019
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Continuing Grant
EAGER: GOALI: Distributed Embedded Vision System for Multi-Unmanned Ground Vehicle Coordination in Indoor Environments
EAGER:GOALI:用于室内环境中多无人地面车辆协调的分布式嵌入式视觉系统
  • 批准号:
    1547934
  • 财政年份:
    2015
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
US-Cameroon Planing Research Visit on Combined Binary Code Translation and Synthesis for Heterogeneous Multiprocessor Systems, January 2014
美国-喀麦隆计划对异构多处理器系统的组合二进制代码翻译和合成进行研究访问,2014 年 1 月
  • 批准号:
    1346542
  • 财政年份:
    2013
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
CSR: Medium: Collaborative Research: Self-Coordination in Cooperative Smart Camera Networks Incorporating System-On-Chip Reconfiguration
CSR:媒介:协作研究:结合片上系统重新配置的协作智能相机网络中的自协调
  • 批准号:
    1302596
  • 财政年份:
    2013
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

SaTC: CORE: Small: Security of FPGA-as-a-Service Reconfigurable Systems
SaTC:核心:小型:FPGA 即服务可重构系统的安全性
  • 批准号:
    2310142
  • 财政年份:
    2023
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: NV-RGRA: Non-Volatile Nano-Second Right-Grained Reconfigurable Architecture for Data-Intensive Machine Learning and Graph Computing
合作研究:CNS 核心:小型:NV-RGRA:用于数据密集型机器学习和图计算的非易失性纳秒右粒度可重构架构
  • 批准号:
    2228239
  • 财政年份:
    2022
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
CNS Core: Small: Reconfigurable Intrabody Network for Therapeutics (RIBNeT)
CNS 核心:小型:用于治疗的可重构体内网络 (RIBNeT)
  • 批准号:
    2245088
  • 财政年份:
    2022
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Tangram: Scaling into the Exascale Era with Reconfigurable Aggregated "Virtual Chips"
合作研究:SHF:小型:七巧板:通过可重构聚合“虚拟芯片”扩展到百亿亿次时代
  • 批准号:
    2245129
  • 财政年份:
    2022
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: CNS Core: Small: NV-RGRA: Non-Volatile Nano-Second Right-Grained Reconfigurable Architecture for Data-Intensive Machine Learning and Graph Computing
合作研究:CNS 核心:小型:NV-RGRA:用于数据密集型机器学习和图计算的非易失性纳秒右粒度可重构架构
  • 批准号:
    2228240
  • 财政年份:
    2022
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
CNS Core: Small: Reconfigurable Intrabody Network for Therapeutics (RIBNeT)
CNS 核心:小型:用于治疗的可重构体内网络 (RIBNeT)
  • 批准号:
    2129659
  • 财政年份:
    2021
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: Tangram: Scaling into the Exascale Era with Reconfigurable Aggregated "Virtual Chips"
合作研究:SHF:小型:七巧板:通过可重构聚合“虚拟芯片”扩展到百亿亿次时代
  • 批准号:
    2124525
  • 财政年份:
    2021
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SWIFT: SMALL: Enabling Seamless Coexistence between Passive and Active Networks using Reconfigurable Reflecting Surfaces
合作研究:SWIFT:SMALL:使用可重构反射表面实现无源和有源网络之间的无缝共存
  • 批准号:
    2030068
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Security of FPGA-as-a-Service Reconfigurable Systems
SaTC:核心:小型:FPGA 即服务可重构系统的安全性
  • 批准号:
    2011561
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
Collaborative Research: SWIFT: SMALL: Enabling Seamless Coexistence between Passive and Active Networks using Reconfigurable Reflecting Surfaces
合作研究:SWIFT:SMALL:使用可重构反射表面实现无源和有源网络之间的无缝共存
  • 批准号:
    2030215
  • 财政年份:
    2020
  • 资助金额:
    $ 47.79万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了