Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classification.
Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classification.
复制标题
DOI：
10.3389/fnins.2017.00682
复制
发表时间：
2017
影响因子：
4.3
通讯作者：
Liu SC
中科院分区：
文献类型：
--
作者：
Rueckauer B;Lungu IA;Hu Y;Pfeiffer M;Liu SC
尖峰神经网络 (SNN) 可能提供一种有效的推理方法，因为网络中的神经元是稀疏激活的，并且计算是事件驱动的。之前的工作表明，简单的连续值深度卷积神经网络（CNN）可以转换为精确的尖峰等价物。这些网络不包括某些常见操作，例如 max-pooling、softmax、batch-normalization 和 Inception-modules。本文提出了这些操作的尖峰等价物，因此允许转换几乎任意的 CNN 架构。我们展示了流行的 CNN 架构（包括 VGG-16 和 Inception-v3）到 SNN 的转换，这些架构在 MNIST、CIFAR-10 和具有挑战性的 ImageNet 数据集上产生了迄今为止报告的最佳结果。 SNN 可以在分类错误率与可用操作数量之间进行权衡，而深度连续值神经网络需要固定数量的操作才能实现其分类错误率。从 MNIST 的 LeNet 和 CIFAR-10 的 BinaryNet 的示例中，我们表明，与原始 CNN 相比，随着错误率增加几个百分点，SNN 可以实现超过 2 倍的运算减少。这突显了 SNN 的潜力，特别是当部署在节能的神经形态尖峰神经元芯片上以用于嵌入式应用时。
Spiking neural networks (SNNs) can potentially offer an efficient way of doing inference because the neurons in the networks are sparsely activated and computations are event-driven. Previous work showed that simple continuous-valued deep Convolutional Neural Networks (CNNs) can be converted into accurate spiking equivalents. These networks did not include certain common operations such as max-pooling, softmax, batch-normalization and Inception-modules. This paper presents spiking equivalents of these operations therefore allowing conversion of nearly arbitrary CNN architectures. We show conversion of popular CNN architectures, including VGG-16 and Inception-v3, into SNNs that produce the best results reported to date on MNIST, CIFAR-10 and the challenging ImageNet dataset. SNNs can trade off classification error rate against the number of available operations whereas deep continuous-valued neural networks require a fixed number of operations to achieve their classification error rate. From the examples of LeNet for MNIST and BinaryNet for CIFAR-10, we show that with an increase in error rate of a few percentage points, the SNNs can achieve more than 2x reductions in operations compared to the original CNNs. This highlights the potential of SNNs in particular when deployed on power-efficient neuromorphic spiking neuron chips, for use in embedded applications.
登录
查看更多内容
影响因子：
4.3
作者：
Farabet C;Paz R;Pérez-Carrasco J;Zamarreño-Ramos C;Linares-Barranco A;Lecun Y;Culurciello E;Serrano-Gotarredona T;Linares-Barranco B
通讯作者：
Linares-Barranco B
影响因子：
4.3
作者：
Hu Y;Liu H;Pfeiffer M;Delbruck T
通讯作者：
Delbruck T
影响因子：
20.6
作者：
Furber, Steve B.;Galluppi, Francesco;Plana, Luis A.
通讯作者：
Plana, Luis A.
影响因子：
5.4
作者：
Chen, Yu-Hsin;Krishna, Tushar;Sze, Vivienne
通讯作者：
Sze, Vivienne
影响因子：
4.3
作者：
Lee JM;Kyeong S;Kim E;Cheon KA
通讯作者：
Cheon KA