SHF: Small: A General Framework for Accelerating AI on Resource-Constrained Edge Devices

SHF:小型:在资源受限的边缘设备上加速 AI 的通用框架

基本信息

  • 批准号:
    2211163
  • 负责人:
  • 金额:
    $ 60万
  • 依托单位:
  • 依托单位国家:
    美国
  • 项目类别:
    Standard Grant
  • 财政年份:
    2022
  • 资助国家:
    美国
  • 起止时间:
    2022-07-01 至 2025-06-30
  • 项目状态:
    未结题

项目摘要

The upward trend of the pervasive usage of edge devices provides excellent opportunities for on-device intelligence in future mobile and IoT applications, including mobile augmented reality (AR)/Virtual reality (VR), smart manufacturing, mobile healthcare, and autonomous vehicles. While these edge devices have complete software/hardware stacks to execute machine-learning models, they usually have constrained computing resources. They cannot afford to execute the machine-learning models directly. To keep up with the fast-growing deployment of mobile and IoT applications, it is urgently needed to design new neural-network architectures for accelerating artificial intelligence (AI) on resource-constrained edge devices. This proposal aims to develop a novel framework that can efficiently design neural-network architectures suitable for execution on edge devices. The proposed framework develops network architectures that simultaneously balance memory cost, computing efficiency, and prediction accuracy, which can advance on-device AI applications with low-latency and high-efficiency requirements. The new deployment optimization methods can generally benefit neural-network implementation and deployment on heterogeneous commodity computing platforms without customized hardware. The project will lead to a solid foundation for a broad range of research topics related to computing architecture design and edge-computing systems. The research results can benefit interdisciplinary curriculums with new research topics and tasks for undergraduate/graduate and minority students.This project develops a holistic framework for designing efficient and effective neural-network architectures considering edge devices’ hardware constraints. It first develops an automated hardware-aware neural-network architecture-design method to efficiently generate optimal neural-network architectures that can balance the trade-offs between the required accuracy and computational performance. A further investigation is conducted to develop novel neural-network optimization methods to reduce memory footprints and computational costs in a fine-grained way while satisfying the accuracy requirement. New pruning methods are designed to accurately track the importance of network parameters and effectively reduce pruning iterations and floating-point operations. Moreover, novel implementation mechanisms, such as weight-sharing-aware fine-tuning, dynamic partitioning, and on-demand loading schemes, are developed to minimize the loading time overhead and enable efficient deployment and evaluation of the designed architectures on edge devices. Commodity edge devices and FPGAs are employed to implement and evaluate the designed neural-network architecture.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
边缘设备普遍使用的上升趋势为未来移动和物联网应用中的设备智能提供了极好的机会,包括移动增强现实(AR)/虚拟现实(VR)、智能制造、移动医疗保健和自动驾驶汽车。虽然这些边缘设备拥有完整的软件/硬件堆栈来执行机器学习模型,但它们通常具有有限的计算资源。他们承担不起直接执行机器学习模型的代价。为了跟上快速增长的移动和物联网应用部署,迫切需要设计新的神经网络体系结构,以在资源受限的边缘设备上加速人工智能(AI)。该方案旨在开发一种新的框架,能够有效地设计适合在边缘设备上执行的神经网络结构。该框架开发了同时平衡存储成本、计算效率和预测精度的网络体系结构,可以促进具有低延迟和高效率要求的设备上AI应用。新的部署优化方法一般可以在不需要定制硬件的情况下,在不同的商用计算平台上实现和部署神经网络。该项目将为与计算架构设计和边缘计算系统相关的广泛研究课题奠定坚实的基础。这项研究成果可以为跨学科课程的本科生/研究生和少数族裔学生提供新的研究主题和任务。该项目开发了一个整体框架,用于设计考虑边缘设备硬件限制的高效和有效的神经网络结构。它首先开发了一种自动化的硬件感知神经网络结构设计方法,以有效地生成能够在所需精度和计算性能之间权衡的最佳神经网络结构。进一步研究开发新的神经网络优化方法,在满足精度要求的同时,以细粒度的方式减少存储空间和计算成本。设计了新的剪枝方法,准确跟踪网络参数的重要性,有效减少剪枝迭代和浮点运算。此外,还开发了新的实现机制,如加权感知微调、动态分区和按需加载方案,以最大限度地减少加载时间开销,并使所设计的体系结构能够在边缘设备上高效部署和评估。使用商用边缘设备和现场可编程门阵列来实施和评估设计的神经网络结构。该奖项反映了NSF的法定使命,并通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。

项目成果

期刊论文数量(3)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Universal Targeted Adversarial Attacks Against mmWave-based Human Activity Recognition
  • DOI:
    10.1109/infocom53939.2023.10228887
  • 发表时间:
    2023-05
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Yucheng Xie;Ruizhe Jiang;Xiaonan Guo;Yan Wang;Jerry Q. Cheng;Yingying Chen
  • 通讯作者:
    Yucheng Xie;Ruizhe Jiang;Xiaonan Guo;Yan Wang;Jerry Q. Cheng;Yingying Chen
Person re-identification using wifi signals
利用wifi信号进行人员重新识别
{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Yingying Chen其他文献

Direct Load Control by Distributed Imperialist Competitive Algorithm
分布式帝国主义竞争算法的直接负载控制
Preliminary measurements of fluorescent aerosol number concentrations using a laser-induced fluorescence lidar
使用激光诱导荧光激光雷达初步测量荧光气溶胶数浓度
  • DOI:
    10.1364/ao.57.007211
  • 发表时间:
    2018
  • 期刊:
  • 影响因子:
    1.9
  • 作者:
    Zhimin Rao;Tingyao He;Dengxin Hua;Yunlong Wang;Xusheng Wang;Yingying Chen;Jing Le
  • 通讯作者:
    Jing Le
Who Will Tell the Stories of Health Inequities? Platform Challenges (and Opportunities) in Local Civic Information Infrastructure
谁来讲述健康不平等的故事?
  • DOI:
  • 发表时间:
    2023
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ava Francesca Battocchio;Kjerstin Thorson;Dan Hiaeshutter;Marisa Smith;Yingying Chen;S. Edgerly;Kelley Cotter;Hyesun Choung;Chuqing Dong;Moldir Moldagaliyeva;Christopher E. Etheridge
  • 通讯作者:
    Christopher E. Etheridge
Bipartite Graph Matching Based Secret Key Generation
基于二分图匹配的密钥生成
Catalytic oxidation of CO on mesoporous codoped ceria catalysts: Insights into the correlation of physicochemical property and catalytic activity
介孔共掺杂二氧化铈催化剂上 CO 的催化氧化:深入了解理化性质与催化活性的相关性
  • DOI:
  • 发表时间:
    2019
  • 期刊:
  • 影响因子:
    4.9
  • 作者:
    Hongjian Zhu;Yingying Chen;Yibo Gao;Wenxu Liu;Zhongpeng Wang;Chenchen Cui;Wei Liu;Liguo Wang
  • 通讯作者:
    Liguo Wang

Yingying Chen的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Yingying Chen', 18)}}的其他基金

Collaborative Research: III: Small: Efficient and Robust Multi-model Data Analytics for Edge Computing
协作研究:III:小型:边缘计算的高效、稳健的多模型数据分析
  • 批准号:
    2311596
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: CCRI: New: Nation-wide Community-based Mobile Edge Sensing and Computing Testbeds
合作研究:CCRI:新:全国范围内基于社区的移动边缘传感和计算测试平台
  • 批准号:
    2120396
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SaTC: CORE: Small: Securing IoT and Edge Devices under Audio Adversarial Attacks
协作研究:SaTC:核心:小型:在音频对抗攻击下保护物联网和边缘设备
  • 批准号:
    2114220
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: PPoSS: Planning: Hardware-accelerated Trustworthy Deep Neural Network
合作研究:PPoSS:规划:硬件加速的可信深度神经网络
  • 批准号:
    2028876
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Collaborative Research: Software Hardware Architecture Co-design for Low-power Heterogeneous Edge Devices
SHF:小型:协作研究:低功耗异构边缘设备的软件硬件架构协同设计
  • 批准号:
    1909963
  • 财政年份:
    2019
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Collaborative: Security Assurance in Short Range Communication with Wireless Channel Obfuscation
SaTC:核心:小型:协作:通过无线信道混淆实现短距离通信的安全保证
  • 批准号:
    1814590
  • 财政年份:
    2018
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SaTC: CORE: Small: Collaborative: Exploiting Physical Properties in Wireless Networks for Implicit Authentication
SaTC:核心:小型:协作:利用无线网络中的物理属性进行隐式身份验证
  • 批准号:
    1716500
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Medium: Collaborative Research: Exploiting Fine-grained WiFi Signals for Wellbeing Monitoring
NeTS:媒介:协作研究:利用细粒度 WiFi 信号进行健康监测
  • 批准号:
    1826647
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant
SaTC: CORE: Small: Collaborative: Exploiting Physical Properties in Wireless Networks for Implicit Authentication
SaTC:核心:小型:协作:利用无线网络中的物理属性进行隐式身份验证
  • 批准号:
    1820624
  • 财政年份:
    2017
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
NeTS: Medium: Collaborative Research: Exploiting Fine-grained WiFi Signals for Wellbeing Monitoring
NeTS:媒介:协作研究:利用细粒度 WiFi 信号进行健康监测
  • 批准号:
    1514436
  • 财政年份:
    2015
  • 资助金额:
    $ 60万
  • 项目类别:
    Continuing Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Collaborative Research: AF: Small: Structural Graph Algorithms via General Frameworks
合作研究:AF:小型:通过通用框架的结构图算法
  • 批准号:
    2347322
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: AF: Small: Structural Graph Algorithms via General Frameworks
合作研究:AF:小型:通过通用框架的结构图算法
  • 批准号:
    2347321
  • 财政年份:
    2024
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: A General-purpose Parallel and Heterogeneous Task Graph Computing System for VLSI CAD
SHF:小型:用于 VLSI CAD 的通用并行异构任务图计算系统
  • 批准号:
    2349141
  • 财政年份:
    2023
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
SHF: Small: Ubiquitous and Transparent Near-data Computing for General Purpose Processors
SHF:小型:通用处理器的无处不在且透明的近数据计算
  • 批准号:
    2200831
  • 财政年份:
    2022
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: A General Framework for Responsive Static Analysis
合作研究:SHF:小型:响应式静态分析的通用框架
  • 批准号:
    2223825
  • 财政年份:
    2022
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: A General Framework for Responsive Static Analysis
合作研究:SHF:小型:响应式静态分析的通用框架
  • 批准号:
    2223826
  • 财政年份:
    2022
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Cerebral white matter lesions and cerebral small vessel disease-related gene variants in the Japanese general population
日本普通人群的脑白质病变和脑小血管疾病相关基因变异
  • 批准号:
    21K07441
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
SHF: Small: A General-purpose Parallel and Heterogeneous Task Graph Computing System for VLSI CAD
SHF:小型:用于 VLSI CAD 的通用并行异构任务图计算系统
  • 批准号:
    2126672
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Standard Grant
Development of a general-purpose computer-aided diagnosis system using VAE that can be used for a small number of cases
使用VAE开发可用于少量病例的通用计算机辅助诊断系统
  • 批准号:
    21H03840
  • 财政年份:
    2021
  • 资助金额:
    $ 60万
  • 项目类别:
    Grant-in-Aid for Scientific Research (B)
General and High-Throughput Small Molecule Screens and Selections for Metabolic Engineering
代谢工程的通用和高通量小分子筛选和选择
  • 批准号:
    10348743
  • 财政年份:
    2020
  • 资助金额:
    $ 60万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了