Online Adaptation and Energy Minimization for Hardware Recurrent Spiking Neural Networks
Online Adaptation and Energy Minimization for Hardware Recurrent Spiking Neural Networks
复制标题
硬件循环尖峰神经网络的在线适应和能量最小化
DOI：
10.1145/3145479
复制
发表时间：
2018
影响因子：
2.2
通讯作者：
Li, Peng
中科院分区：
文献类型：
--
作者：
Liu, Yu;Jin, Yingyezhe;Li, Peng
液体状态机 (LSM) 是一种很有前途的循环尖峰神经网络模型，它为模式识别等机器学习应用提供了一种有吸引力的受大脑启发的计算范例。此外，直接处理尖峰事件信息使 LSM 非常适合经济高效的硬件实施。在本文中，我们从算法和硬件实现的角度系统地介绍了三种技术，用于优化能源效率，同时保持所提出的 LSM 神经处理器的良好性能。首先，为了实现自适应LSM神经处理器，从而提高学习性能，我们提出了一种硬件友好的尖峰定时相关塑料（STDP）机制用于片上调整。然后，LSM 处理器结合了一种新颖的基于运行时相关性的神经元门控方案，以最大限度地减少储存神经元消耗的功率。此外，还提出了一种依赖于活动的时钟门控方法，以解决由于所提出的神经处理器的内存密集型特性而导致的能源效率低下的问题。使用语音和图像识别这两种不同的现实世界任务进行基准测试，我们证明，与基准 LSM 相比，所提出的架构将平均学习性能提高了 2.0%，同时将能耗降低了 29%，在 Xilinx Virtex-6 FPGA 上几乎没有额外的硬件开销。
The Liquid State Machine (LSM) is a promising model of recurrent spiking neural networks that provides an appealing brain-inspired computing paradigm for machine-learning applications such as pattern recognition. Moreover, processing information directly on spiking events makes the LSM well suited for cost- and energy-efficient hardware implementation. In this article, we systematically present three techniques for optimizing energy efficiency while maintaining good performance of the proposed LSM neural processors from both an algorithmic and hardware implementation point of view. First, to realize adaptive LSM neural processors, thus boost learning performance, we propose a hardware-friendly Spike-Timing Dependent Plastic (STDP) mechanism for on-chip tuning. Then, the LSM processor incorporates a novel runtime correlation-based neuron gating scheme to minimize the power dissipated by reservoir neurons. Furthermore, an activity-dependent clock gating approach is presented to address the energy inefficiency due to the memory-intensive nature of the proposed neural processors.Using two different real-world tasks of speech and image recognition to benchmark, we demonstrate that the proposed architecture boosts the average learning performance by up to 2.0% while reducing energy dissipation by up to 29% compared to a baseline LSM with little extra hardware overhead on a Xilinx Virtex-6 FPGA.
登录
查看更多内容
STDP 的组合数字逻辑方法
DOI：
10.1109/iscas.2011.5937655
发表时间：
2011
期刊：
2011 IEEE International Symposium of Circuits and Systems (ISCAS)
影响因子：
--
作者：
A. Cassidy;A. Andreou;J. Georgiou
通讯作者：
J. Georgiou
SSO-LSM：基于液态状态机的神经处理器的稀疏自组织架构
DOI：
10.1145/2950067.2950100
发表时间：
2016
期刊：
2016 IEEE/ACM International Symposium on Nanoscale Architectures (NANOARCH)
影响因子：
--
作者：
Yingyezhe Jin;Yu Liu;Peng Li
通讯作者：
Peng Li
FPGA 上基于液态状态机的模式识别，具有与发射活动相关的功率门控和近似计算
DOI：
--
发表时间：
2016
期刊：
International Symposium on Circuits and Systems
影响因子：
--
作者：
Qian Wang;Youjie Li;Peng Li
通讯作者：
Peng Li
通用LSM学习处理器架构和理论指导设计空间探索
DOI：
10.1109/biocas.2015.7348397
发表时间：
2015
期刊：
2015 IEEE Biomedical Circuits and Systems Conference (BioCAS)
影响因子：
--
作者：
Qian Wang;Yingyezhe Jin;Peng Li
通讯作者：
Peng Li