NNBench-X: A Benchmarking Methodology for Neural Network Accelerator Designs
NNBench-X: A Benchmarking Methodology for Neural Network Accelerator Designs
复制标题
NNBench-X：神经网络加速器设计的基准测试方法
DOI：
10.1145/3417709
复制
发表时间：
2020
影响因子：
1.6
通讯作者：
Xie, Yuan
中科院分区：
文献类型：
--
作者：
Xie, Xinfeng;Hu, Xing;Gu, Peng;Li, Shuangchen;Ji, Yu;Xie, Yuan
深度学习算法在广泛应用领域的巨大影响促使神经网络（NN）加速器研究激增。促进神经网络加速器的设计需要从包含新兴神经网络模型的不断发展的基准套件中获得指导。然而，现有的神经网络基准并不适合指导神经网络加速器的设计。这些基准要么是为通用处理器选择的，而没有考虑神经网络加速器的独特特性，要么是在基准构建、更新和定制过程中缺乏定量分析来保证其完整性。鉴于先前基准测试的缺点，我们提出了一种新的神经网络加速器基准测试方法，该方法对应用程序性能特征进行定量分析，并全面了解软硬件协同设计。具体来说，我们将基准测试过程解耦为三个阶段：首先，我们用定量指标表征神经网络工作负载，并为基准测试套件选择代表性应用程序，以确保多样性和完整性。其次，根据特定软硬件协同设计提供的定制模型压缩技术，对选定的应用程序进行细化。最后，我们在生成的基准套件上评估了各种加速器设计。为了证明我们的基准测试方法的有效性，我们进行了一个案例研究，从TensorFlow模型动物园中组成一个神经网络基准，并用各种模型压缩技术压缩这些选定的模型。最后，我们评估了不同架构下的压缩模型，包括GPU、Neurocube、DianNao和Cambricon-X。
The tremendous impact of deep learning algorithms over a wide range of application domains has encouraged a surge of neural network (NN) accelerator research. Facilitating the NN accelerator design calls for guidance from an evolving benchmark suite that incorporates emerging NN models. Nevertheless, existing NN benchmarks are not suitable for guiding NN accelerator designs. These benchmarks are either selected for general-purpose processors without considering unique characteristics of NN accelerators or lack quantitative analysis to guarantee their completeness during the benchmark construction, update, and customization.In light of the shortcomings of prior benchmarks, we propose a novel benchmarking methodology for NN accelerators with a quantitative analysis of application performance features and a comprehensive awareness of software-hardware co-design. Specifically, we decouple the benchmarking process into three stages: First, we characterize the NN workloads with quantitative metrics and select the representative applications for the benchmark suite to ensure diversity and completeness. Second, we refine the selected applications according to the customized model compression techniques provided by specific software-hardware co-design. Finally, we evaluate a variety of accelerator designs on the generated benchmark suite. To demonstrate the effectiveness of our benchmarking methodology, we conduct a case study of composing an NN benchmark from the TensorFlow Model Zoo and compress these selected models with various model compression techniques. Finally, we evaluate compressed models on various architectures, including GPU, Neurocube, DianNao, and Cambricon-X.
登录
查看更多内容
DOI：
10.1109/isca45697.2020.00071
发表时间：
2020-05
期刊：
2020 ACM/IEEE 47th Annual International Symposium on Computer Architecture (ISCA)
影响因子：
--
作者：
P. Gu;Xinfeng Xie;Yufei Ding;Guoyang Chen;Weifeng Zhang;Dimin Niu;Yuan Xie
通讯作者：
P. Gu;Xinfeng Xie;Yufei Ding;Guoyang Chen;Weifeng Zhang;Dimin Niu;Yuan Xie
影响因子：
3.6
作者：
Guo, Kaiyuan;Han, Song;Yang, Huazhong
通讯作者：
Yang, Huazhong
AcMC 2：加速概率模型的马尔可夫链蒙特卡罗算法
DOI：
--
发表时间：
2019
期刊：
International Conference on Architectural Support for Programming Languages and Operating Systems
影响因子：
--
作者：
Subho Sankar Banerjee;Z. Kalbarczyk;R. Iyer
通讯作者：
R. Iyer
DOI：
10.1109/tpami.2016.2577031
发表时间：
2017-06-01
影响因子：
23.6
作者：
Ren, Shaoqing;He, Kaiming;Sun, Jian
通讯作者：
Sun, Jian