SBIR Phase I: A Mixed-Computation Neural Network Acceleration Stack for Edge Inference
SBIR 第一阶段:用于边缘推理的混合计算神经网络加速堆栈
基本信息
- 批准号:2304304
- 负责人:
- 金额:$ 27.49万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2023
- 资助国家:美国
- 起止时间:2023-12-15 至 2024-08-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
The broader/commercial impact of this Small Business Innovation Research (SBIR) Phase I project is to improve the sustainability of artificial intelligence by reducing carbon emissions for training neural networks and performing inference at the edge. Additionally, the technology will spawn new applications and use cases for edge inference (including personal health, advanced data analytics, and informed decision-making), resulting in significant improvements in people's lives and well-being. The commercial potential is substantial (i.e., tens of billions of dollars annually), as are the potential economic benefits to US high-technology industries.This Small Business Innovation Research (SBIR) Phase I project sets out to develop a mixed-computation neural network acceleration stack utilizing optimally designed and provisioned hardware resources. This acceleration stack empowers a heterogeneous hardware realization of a neural network inference engine whereby computations required in various network layers may be done by using different number systems and different precision levels. The acceleration stack can thus achieve very high inference speed and energy efficiency while maintaining the inference accuracy compared to a homogeneous hardware realization of the network using 16-bit floating point computations. To support the design, optimization, and runtime efficiency of this edge inference accelerator, a full suite of software and design automation tools comprising a distiller for neural network architecture optimization and training, a logic synthesizer for generating optimized gate-level realization of very large and complex Boolean and multi-valued logic functions, a compiler for generating and scheduling control-flow and data path instructions that are executed on the target fabric, and a runtime system for orchestrating data movement will also be provided. The resulting edge inference accelerator will be deployable on resource-constrained, energy-limited, and cost-sensitive edge devices.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
这个小型企业创新研究(SBIR)第一阶段项目的更广泛/商业影响是通过减少用于训练神经网络和在边缘执行推理的碳排放来提高人工智能的可持续性。此外,该技术将催生用于边缘推理(包括个人健康、高级数据分析和知情决策)的新应用和用例,从而显著改善人们的生活和福祉。商业潜力是巨大的(即每年数百亿美元),美国高科技产业的潜在经济效益也是如此。这个小型企业创新研究(SBIR)第一阶段项目着手开发一个混合计算神经网络加速堆栈,利用优化设计和配置的硬件资源。该加速堆栈支持神经网络推理机的异类硬件实现,由此可以通过使用不同的数字系统和不同的精度级别来完成在不同网络层中所需的计算。因此,与使用16位浮点计算的网络的同构硬件实现相比,加速堆栈可以在保持推理精度的同时实现非常高的推理速度和能量效率。为了支持该边缘推理加速器的设计、优化和运行效率,还将提供全套软件和设计自动化工具,包括用于神经网络结构优化和训练的蒸馏器、用于生成非常大且复杂的布尔和多值逻辑函数的优化门级实现的逻辑合成器、用于生成和调度在目标结构上执行的控制流和数据路径指令的编译器、以及用于协调数据移动的运行时系统。由此产生的边缘推理加速器将可部署在资源受限、能源受限和成本敏感的边缘设备上。该奖项反映了NSF的法定使命,并已通过使用基金会的智力优势和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
数据更新时间:{{ journalArticles.updateTime }}
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Mahdi Nazemi其他文献
Mahdi Nazemi的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
相似国自然基金
Baryogenesis, Dark Matter and Nanohertz Gravitational Waves from a Dark
Supercooled Phase Transition
- 批准号:24ZR1429700
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
ATLAS实验探测器Phase 2升级
- 批准号:11961141014
- 批准年份:2019
- 资助金额:3350 万元
- 项目类别:国际(地区)合作与交流项目
地幔含水相Phase E的温度压力稳定区域与晶体结构研究
- 批准号:41802035
- 批准年份:2018
- 资助金额:12.0 万元
- 项目类别:青年科学基金项目
基于数字增强干涉的Phase-OTDR高灵敏度定量测量技术研究
- 批准号:61675216
- 批准年份:2016
- 资助金额:60.0 万元
- 项目类别:面上项目
基于Phase-type分布的多状态系统可靠性模型研究
- 批准号:71501183
- 批准年份:2015
- 资助金额:17.4 万元
- 项目类别:青年科学基金项目
纳米(I-Phase+α-Mg)准共晶的临界半固态形成条件及生长机制
- 批准号:51201142
- 批准年份:2012
- 资助金额:25.0 万元
- 项目类别:青年科学基金项目
连续Phase-Type分布数据拟合方法及其应用研究
- 批准号:11101428
- 批准年份:2011
- 资助金额:23.0 万元
- 项目类别:青年科学基金项目
D-Phase准晶体的电子行为各向异性的研究
- 批准号:19374069
- 批准年份:1993
- 资助金额:6.4 万元
- 项目类别:面上项目
相似海外基金
SBIR Phase I: Mixed reality wearable technology to improve workflow, productivity, and training in medical sterilization environments
SBIR 第一阶段:混合现实可穿戴技术,用于改善医疗灭菌环境中的工作流程、生产力和培训
- 批准号:
2144074 - 财政年份:2022
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Metasurface optical elements for augmented/mixed-reality smart glasses
SBIR 第一阶段:用于增强/混合现实智能眼镜的超表面光学元件
- 批准号:
2015151 - 财政年份:2020
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase II: A Spectroscopic THz Sensor for Mixed Gas Analysis and Air Pollution Monitoring
SBIR 第二阶段:用于混合气体分析和空气污染监测的光谱太赫兹传感器
- 批准号:
1831168 - 财政年份:2018
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase II: Analog/Mixed-Signal Integrated Circuit Verification Coverage
SBIR 第二阶段:模拟/混合信号集成电路验证覆盖范围
- 批准号:
1431022 - 财政年份:2014
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Enhanced Voice Capture for Mobile Devices Using a Mixed-Response-Type Array
SBIR 第一阶段:使用混合响应型阵列增强移动设备的语音捕获
- 批准号:
1248931 - 财政年份:2013
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Analog/Mixed-Signal Integrated Circuit Verification Coverage
SBIR 第一阶段:模拟/混合信号集成电路验证覆盖范围
- 批准号:
1248944 - 财政年份:2013
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase II: Mixed Oxide Sulfur-Tolerant Water Gas Shift Catalysts
SBIR 第二阶段:混合氧化物耐硫水煤气变换催化剂
- 批准号:
1230320 - 财政年份:2012
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Mixed Oxide Sulfur-Tolerant Water Gas Shift Catalysts
SBIR 第一阶段:混合氧化物耐硫水煤气变换催化剂
- 批准号:
1046518 - 财政年份:2011
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Developing An Unique Variable Orifice Fuel Injector to Enable Advanced Mixed-Mode Combustion
SBIR 第一阶段:开发独特的可变孔口燃油喷射器以实现先进的混合模式燃烧
- 批准号:
0945850 - 财政年份:2010
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant
SBIR Phase I: Nanoporous Catalytic Mixed Oxide Membranes for Removal of Hazardous Air Pollutants
SBIR 第一阶段:用于去除有害空气污染物的纳米多孔催化混合氧化物膜
- 批准号:
0512915 - 财政年份:2005
- 资助金额:
$ 27.49万 - 项目类别:
Standard Grant