Efficient GPU training of LSNNs using eProp
Efficient GPU training of LSNNs using eProp
复制标题
使用 eProp 对 LSNN 进行高效 GPU 训练
DOI：
10.1145/3517343.3517346
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Knight J
中科院分区：
文献类型：
--
作者：
Knight J
从机器学习库-其中并行批处理训练等技术最大限度地减少延迟并最大化GPU占用-以及我们之前为计算神经科学在GPU上高效模拟尖峰神经网络(SNN)的研究中获得的灵感，我们扩展了我们的Genn SNN模拟器，以实现通用硬件上基于SPEK的机器学习研究。我们证明了使用Genn实现并使用eProp学习规则训练的SNN分类器可以提供与使用Back Propagation Thin Time训练的分类器相当的性能，并且我们的SNN分类器的延迟和能量使用量比运行在相同GPU硬件上的LSTM低7倍。
Taking inspiration from machine learning libraries – where techniques such as parallel batch training minimise latency and maximise GPU occupancy – as well as our previous research on efficiently simulating Spiking Neural Networks (SNNs) on GPUs for computational neuroscience, we have extended our GeNN SNN simulator to enable spike-based machine learning research on general purpose hardware. We demonstrate that SNN classifiers implemented using GeNN and trained using the eProp learning rule can provide comparable performance to those trained using Back Propagation Through Time and show that the latency and energy usage of our SNN classifiers is up to 7 × lower than an LSTM running on the same GPU hardware.
登录
查看更多内容
影响因子：
23.8
作者：
Rao, Arjun;Plank, Philipp;Maass, Wolfgang
通讯作者：
Maass, Wolfgang
影响因子：
20.6
作者：
Friedemann Zenke;E. Neftci
通讯作者：
Friedemann Zenke;E. Neftci
Norse - 用于尖峰神经网络的深度学习库
DOI：
--
发表时间：
2021
期刊：
影响因子：
--
作者：
Christian Pehle;Jens Egholm Pedersen
通讯作者：
Jens Egholm Pedersen
影响因子：
3.5
作者：
Knight JC;Komissarov A;Nowotny T
通讯作者：
Nowotny T
DOI：
10.1109/tnnls.2020.3044364
发表时间：
2022-07-01
影响因子：
10.4
作者：
Cramer, Benjamin;Stradmann, Yannik;Zenke, Friedemann
通讯作者：
Zenke, Friedemann