SHF:Small: Tensor-Based Algorithm and Hardware Co-Optimization for Neural Network Architecture
SHF:Small:基于张量的神经网络架构算法和硬件协同优化
基本信息
- 批准号:1817037
- 负责人:
- 金额:$ 50万
- 依托单位:
- 依托单位国家:美国
- 项目类别:Standard Grant
- 财政年份:2018
- 资助国家:美国
- 起止时间:2018-10-01 至 2022-03-31
- 项目状态:已结题
- 来源:
- 关键词:
项目摘要
Machine learning plays an important role in our daily life, including medical data analysis, finance, autonomous driving and computer vision. Many popular machine learning models are both data-intensive and computationally expensive. In order to address this challenge, algorithm and architecture co-design and co-optimizations are required to achieve better performance and energy efficiency. This project aims to develop a more powerful learning architecture by simultaneously optimizing the neural network algorithm and its hardware implementation. The project will have a broad impact. The AI applications will gain a significant performance boost if the computational and storage cost of its algorithm can be reduced significantly. It will improve many applications such as data mining, medical imaging analysis, computational biology, and financial analysis. The project will greatly enrich the undergraduate and graduate course curriculum and attract graduate and undergraduate students to participate in this project and related workshops. Finally, this project will develop new AI, VLSI and computer architecture workforce with solid background in several areas including computational math, machine learning, and hardware design.Tensors are a generalization of vectors and matrices, and they are promising tools to represent and numerically process high-dimensional data arrays. Leveraging the high effectiveness of tensor computation in big-data analysis, this project will investigate three specific topics towards designing high-performance and energy-efficient machine learning hardware. First, theoretically sound and novel tensor numerical algorithms will be developed to significantly reduce the training and inference cost of deep learning. Second, the algorithm framework will be optimized on existing hardware (e.g., GPU and FPGA) to achieve better performance, and to examine the main challenges when running on hardware platforms. Finally, emerging design technologies (e.g., 3-D process-in-memory) will be investigated to design specific hardware libraries to perform fundamental tensor computation and to further boost the performance and energy efficiency of the whole machine learning architecture.This award reflects NSF's statutory mission and has been deemed worthy of support through evaluation using the Foundation's intellectual merit and broader impacts review criteria.
机器学习在我们的日常生活中扮演着重要的角色,包括医疗数据分析、金融、自动驾驶和计算机视觉。许多流行的机器学习模型都是数据密集型的,计算成本也很高。为了应对这一挑战,需要算法和架构协同设计和协同优化,以实现更好的性能和能源效率。本项目旨在通过同时优化神经网络算法及其硬件实现来开发更强大的学习架构。这个项目将产生广泛的影响。如果算法的计算和存储成本能够显著降低,人工智能应用程序将获得显著的性能提升。它将改进许多应用,如数据挖掘、医学成像分析、计算生物学和金融分析。该项目将极大地丰富本科和研究生课程设置,吸引研究生和本科生参与本项目和相关研讨会。最后,该项目将开发新的人工智能、超大规模集成电路和计算机架构劳动力,他们在计算数学、机器学习和硬件设计等多个领域拥有扎实的背景。张量是向量和矩阵的泛化,它们是表示和数值处理高维数据数组的有前途的工具。利用张量计算在大数据分析中的高效率,该项目将研究设计高性能和节能机器学习硬件的三个具体主题。首先,理论上健全和新颖的张量数值算法将被开发出来,以显着降低深度学习的训练和推理成本。其次,算法框架将在现有硬件(例如GPU和FPGA)上进行优化,以获得更好的性能,并检查在硬件平台上运行时的主要挑战。最后,将研究新兴的设计技术(例如,内存中的3-D进程),以设计特定的硬件库来执行基本张量计算,并进一步提高整个机器学习架构的性能和能效。该奖项反映了美国国家科学基金会的法定使命,并通过使用基金会的知识价值和更广泛的影响审查标准进行评估,被认为值得支持。
项目成果
期刊论文数量(14)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)
Fast Search of the Optimal Contraction Sequence in Tensor Networks
张量网络中最优收缩序列的快速搜索
- DOI:10.1109/jstsp.2021.3051231
- 发表时间:2021
- 期刊:
- 影响因子:7.5
- 作者:Liang, Ling;Xu, Jianyu;Deng, Lei;Yan, Mingyu;Hu, Xing;Zhang, Zheng;Li, Guoqi;Xie, Yuan
- 通讯作者:Xie, Yuan
Hardware-Enabled Efficient Data Processing With Tensor-Train Decomposition
- DOI:10.1109/tcad.2021.3058317
- 发表时间:2021-02
- 期刊:
- 影响因子:2.9
- 作者:Zheng Qu;Bangyan Wang;Hengnu Chen;Jilan Lin;Ling Liang;Guoqi Li;Zheng Zhang;Yuan Xie
- 通讯作者:Zheng Qu;Bangyan Wang;Hengnu Chen;Jilan Lin;Ling Liang;Guoqi Li;Zheng Zhang;Yuan Xie
Sparse Tucker Tensor Decomposition on a Hybrid FPGA–CPU Platform
混合 FPGA-CPU 平台上的稀疏 Tucker 张量分解
- DOI:10.1109/tcad.2020.3032626
- 发表时间:2021
- 期刊:
- 影响因子:2.9
- 作者:Jiang, Weiyun;Zhang, Kaiqi;Lin, Colin Yu;Xing, Feng;Zhang, Zheng
- 通讯作者:Zhang, Zheng
Bayesian tensorized neural networks with automatic rank selection
- DOI:10.1016/j.neucom.2021.04.117
- 发表时间:2021-05-19
- 期刊:
- 影响因子:6
- 作者:Hawkins, Cole;Zhang, Zheng
- 通讯作者:Zhang, Zheng
On-FPGA Training with Ultra Memory Reduction: A Low-Precision Tensor Method
- DOI:
- 发表时间:2021-04
- 期刊:
- 影响因子:0
- 作者:Kaiqi Zhang;Cole Hawkins;Xiyuan Zhang;Cong Hao;Zheng Zhang
- 通讯作者:Kaiqi Zhang;Cole Hawkins;Xiyuan Zhang;Cong Hao;Zheng Zhang
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
数据更新时间:{{ journalArticles.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ monograph.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ sciAawards.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ conferencePapers.updateTime }}
{{ item.title }}
- 作者:
{{ item.author }}
数据更新时间:{{ patent.updateTime }}
Zheng Zhang其他文献
DNA immobilization and SAW response in ZnO nanotips grown on LiNbO3 substrates.
LiNbO3 基底上生长的 ZnO 纳米尖端的 DNA 固定和 SAW 响应。
- DOI:
- 发表时间:
2006 - 期刊:
- 影响因子:0
- 作者:
Zheng Zhang;N. Emanetoglu;G. Saraf;Yimin Chen;P. Wu;J. Zhong;Yicheng Lu;Jingqiu Chen;O. Mirochnitchenko;M. Inouye - 通讯作者:
M. Inouye
Leader-following scaled consensus of second-order multi-agent systems under directed topologies
有向拓扑下二阶多智能体系统的领导者跟随规模共识
- DOI:
10.1080/00207721.2019.1672115 - 发表时间:
2019 - 期刊:
- 影响因子:4.3
- 作者:
Zheng Zhang;Shiming Chen;Yuanshi Zheng - 通讯作者:
Yuanshi Zheng
Tracing and steering electron motion inside atoms and molecules by attosecond pulses
通过阿秒脉冲追踪和控制原子和分子内部的电子运动
- DOI:
- 发表时间:
- 期刊:
- 影响因子:0
- 作者:
Ming-Hui Xu;Liang-You Peng;Qihuang Gong;Zheng Zhang - 通讯作者:
Zheng Zhang
Wellbore temperature distribution during circulation stage when well-kick occurs in a continuous formation from the bottom-hole
井底连续地层发生井涌时循环阶段井筒温度分布
- DOI:
10.1016/j.energy.2018.09.048 - 发表时间:
2018-12 - 期刊:
- 影响因子:9
- 作者:
Zheng Zhang;Youming Xiong;Yun Gao;Liming Liu;Menghao Wang;Geng Peng - 通讯作者:
Geng Peng
Research strength analysis, pedagogical components, and effectiveness of translanguaging: a systematic literature review
研究强度分析、教学组成部分和跨语言的有效性:系统文献综述
- DOI:
10.1080/1554480x.2024.2336502 - 发表时间:
2024 - 期刊:
- 影响因子:0
- 作者:
Zheng Zhang;Qianhui Ma;Chuan Liu;Li Li - 通讯作者:
Li Li
Zheng Zhang的其他文献
{{
item.title }}
{{ item.translation_title }}
- DOI:
{{ item.doi }} - 发表时间:
{{ item.publish_year }} - 期刊:
- 影响因子:{{ item.factor }}
- 作者:
{{ item.authors }} - 通讯作者:
{{ item.author }}
{{ truncateString('Zheng Zhang', 18)}}的其他基金
SHF: Small: Tackling Mapping and Scheduling Problems for Quantum Program Compilation
SHF:小型:解决量子程序编译的映射和调度问题
- 批准号:
2129872 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
Collaborative Research: SHF: Medium: Analog EDA-Inspired Methods for Efficient and Robust Neural Network Design
合作研究:SHF:媒介:用于高效、鲁棒神经网络设计的模拟 EDA 启发方法
- 批准号:
2107321 - 财政年份:2021
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
CAREER: Uncertainty-Aware and Data-Driven Methods for Electronic and Photonic Design Automation
职业:电子和光子设计自动化的不确定性感知和数据驱动方法
- 批准号:
1846476 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
XPS: EXPL: Cache Management for Data Parallel Architecture
XPS:EXPL:数据并行架构的缓存管理
- 批准号:
1628401 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
SHF: Small: Optimizing Compiler and Runtime for Concurrency-Oriented Execution Model
SHF:小型:优化面向并发的执行模型的编译器和运行时
- 批准号:
1421505 - 财政年份:2014
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
相似国自然基金
昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
- 批准号:
- 批准年份:2024
- 资助金额:0.0 万元
- 项目类别:省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
- 批准号:n/a
- 批准年份:2022
- 资助金额:10.0 万元
- 项目类别:省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
- 批准号:32000033
- 批准年份:2020
- 资助金额:24.0 万元
- 项目类别:青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
- 批准号:31972324
- 批准年份:2019
- 资助金额:58.0 万元
- 项目类别:面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
- 批准号:81900988
- 批准年份:2019
- 资助金额:21.0 万元
- 项目类别:青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
- 批准号:31870821
- 批准年份:2018
- 资助金额:56.0 万元
- 项目类别:面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
- 批准号:31802058
- 批准年份:2018
- 资助金额:26.0 万元
- 项目类别:青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
- 批准号:31772128
- 批准年份:2017
- 资助金额:60.0 万元
- 项目类别:面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
- 批准号:81704176
- 批准年份:2017
- 资助金额:20.0 万元
- 项目类别:青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
- 批准号:91640114
- 批准年份:2016
- 资助金额:85.0 万元
- 项目类别:重大研究计划
相似海外基金
OAC: Small: Data Locality Optimization for Sparse Matrix/Tensor Computations
OAC:小型:稀疏矩阵/张量计算的数据局部性优化
- 批准号:
2009007 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CNS Core: Small: Re-engineering Applications for Tensor Processing Units
CNS 核心:小型:张量处理单元的重新设计应用
- 批准号:
2007124 - 财政年份:2020
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: Visualizing Robust Features in Vector and Tensor Fields
III:小:可视化矢量和张量场中的鲁棒特征
- 批准号:
1910733 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Continuing Grant
III: Small: Collaborative Research: Scalable Deep Bayesian Tensor Decomposition
III:小:协作研究:可扩展的深贝叶斯张量分解
- 批准号:
1910983 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
III: Small: Collaborative Research: Scalable Deep Bayesian Tensor Decomposition
III:小:协作研究:可扩展的深贝叶斯张量分解
- 批准号:
1909912 - 财政年份:2019
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CHS: Small: High-Dimensional Euclidean Embedding for 4D Volumetric Shape with Multi-Tensor Fields
CHS:小型:具有多张量场的 4D 体积形状的高维欧几里得嵌入
- 批准号:
1816511 - 财政年份:2018
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Low-Dimensional Structure Learning for Tensor Data with Applications to Neuroimaging
CIF:小:张量数据的低维结构学习及其在神经影像中的应用
- 批准号:
1615489 - 财政年份:2016
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
SHF: Small: From Matrix Computations to Tensor Computations
SHF:小:从矩阵计算到张量计算
- 批准号:
1320112 - 财政年份:2013
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
CIF: Small: Nonlinear Matrix and Tensor Completion with Applications in Systems Biology
CIF:小:非线性矩阵和张量补全及其在系统生物学中的应用
- 批准号:
1117980 - 财政年份:2011
- 资助金额:
$ 50万 - 项目类别:
Standard Grant
RI: Small: Endowing Graph-Based Image Segmentation with Global 'Advice': Applications to Diffusion Tensor Images
RI:小:为基于图的图像分割赋予全局“建议”:在扩散张量图像中的应用
- 批准号:
1116584 - 财政年份:2011
- 资助金额:
$ 50万 - 项目类别:
Standard Grant