SuperSpike: Supervised Learning in Multilayer Spiking Neural Networks.
SuperSpike: Supervised Learning in Multilayer Spiking Neural Networks.
复制标题
DOI：
10.1162/neco_a_01086
复制
发表时间：
2018-06
影响因子：
2.9
通讯作者：
Ganguli S
中科院分区：
文献类型：
--
作者：
Zenke F;Ganguli S
大脑中的绝大多数计算都是由尖峰神经网络执行的。尽管这种尖峰无处不在，但我们目前缺乏对生物尖峰神经回路如何在体内学习和计算的理解，以及我们如何在计算机中在人工尖峰电路中实例化这种能力。在这里，我们重新审视时间编码多层尖峰神经网络的监督学习问题。首先，通过使用代理梯度的方法，我们推导出SuperSpike，一个非线性的基于电压的三因素学习规则，能够训练多层网络的确定性集成和消防神经元进行非线性计算的时空尖峰模式。其次，最近的结果反馈对齐的启发，我们比较我们的学习规则的性能在不同的信用分配策略下传播输出错误的隐藏单元。具体来说，我们测试了均匀，对称和随机反馈，发现简单的任务可以用任何类型的反馈来解决，而更复杂的任务需要对称反馈。总之，我们的研究结果为更好地科学理解尖峰神经网络中的学习和计算打开了大门，通过提高我们训练它们解决涉及不同时空尖峰时间模式之间转换的非线性问题的能力。
A vast majority of computation in the brain is performed by spiking neural networks. Despite the ubiquity of such spiking, we currently lack an understanding of how biological spiking neural circuits learn and compute in vivo, as well as how we can instantiate such capabilities in artificial spiking circuits in silico. Here we revisit the problem of supervised learning in temporally coding multilayer spiking neural networks. First, by using a surrogate gradient approach, we derive SuperSpike, a nonlinear voltage-based three-factor learning rule capable of training multilayer networks of deterministic integrate-and-fire neurons to perform nonlinear computations on spatiotemporal spike patterns. Second, inspired by recent results on feedback alignment, we compare the performance of our learning rule under different credit assignment strategies for propagating output errors to hidden units. Specifically, we test uniform, symmetric, and random feedback, finding that simpler tasks can be solved with any type of feedback, while more complex tasks require symmetric feedback. In summary, our results open the door to obtaining a better scientific understanding of learning and computation in spiking neural networks by advancing our ability to train them to solve nonlinear problems involving transformations between different spatiotemporal spike time patterns.
登录
查看更多内容
影响因子：
3.5
作者：
Frémaux N;Gerstner W
通讯作者：
Gerstner W
影响因子：
5.3
作者：
Fremaux, Nicolas;Sprekeler, Henning;Gerstner, Wulfram
通讯作者：
Gerstner, Wulfram
影响因子：
25
作者：
Abbott LF;DePasquale B;Memmesheimer RM
通讯作者：
Memmesheimer RM
影响因子：
3.7
作者：
Gardner B;Grüning A
通讯作者：
Grüning A
影响因子：
2.9
作者：
Bohte, Sander M.;Mozer, Michael C.
通讯作者：
Mozer, Michael C.