Feature Representations for Neuromorphic Audio Spike Streams.
Feature Representations for Neuromorphic Audio Spike Streams.
复制标题
DOI：
10.3389/fnins.2018.00023
复制
发表时间：
2018
影响因子：
4.3
通讯作者：
Liu SC
中科院分区：
文献类型：
--
作者：
Anumula J;Neil D;Delbruck T;Liu SC
事件驱动的神经形态尖峰传感器，如硅视网膜和硅耳蜗编码的外部感官刺激作为异步流的尖峰跨越不同的通道或像素。将最先进的深度神经网络与这些传感器的异步输出相结合，在一些数据集上产生了令人鼓舞的结果，但仍然具有挑战性。虽然缺乏有效的尖峰网络来处理尖峰流是一个原因，但另一个原因是将尖峰流转换为深度网络所需的基于帧的特征所需的预处理方法仍需要进一步研究。这项工作研究了使用尖峰计数和恒定事件分箱生成的同步和异步基于帧的特征的有效性，并结合使用递归神经网络来解决使用N-TIDIGITS 18数据集的分类任务。这个基于尖峰的数据集由来自动态音频传感器的记录组成，动态音频传感器是一种尖峰硅耳蜗传感器，响应于TIDIGITS音频数据集。我们还提出了一种新的预处理方法，该方法对输出耳蜗尖峰应用指数核，以便更好地保留尖峰间的定时信息。N-TIDIGITS 18数据集的结果表明，指数特征的性能优于尖峰计数特征，在数字分类任务上的准确率超过91%。这种准确性对应于使用尖峰计数特征的至少2.5%的改进，为该数据集建立了新的最新技术水平。
Event-driven neuromorphic spiking sensors such as the silicon retina and the silicon cochlea encode the external sensory stimuli as asynchronous streams of spikes across different channels or pixels. Combining state-of-art deep neural networks with the asynchronous outputs of these sensors has produced encouraging results on some datasets but remains challenging. While the lack of effective spiking networks to process the spike streams is one reason, the other reason is that the pre-processing methods required to convert the spike streams to frame-based features needed for the deep networks still require further investigation. This work investigates the effectiveness of synchronous and asynchronous frame-based features generated using spike count and constant event binning in combination with the use of a recurrent neural network for solving a classification task using N-TIDIGITS18 dataset. This spike-based dataset consists of recordings from the Dynamic Audio Sensor, a spiking silicon cochlea sensor, in response to the TIDIGITS audio dataset. We also propose a new pre-processing method which applies an exponential kernel on the output cochlea spikes so that the interspike timing information is better preserved. The results from the N-TIDIGITS18 dataset show that the exponential features perform better than the spike count features, with over 91% accuracy on the digit classification task. This accuracy corresponds to an improvement of at least 2.5% over the use of spike count features, establishing a new state of the art for this dataset.
登录
查看更多内容
影响因子：
4.3
作者：
Farabet C;Paz R;Pérez-Carrasco J;Zamarreño-Ramos C;Linares-Barranco A;Lecun Y;Culurciello E;Serrano-Gotarredona T;Linares-Barranco B
通讯作者：
Linares-Barranco B
DOI：
10.1109/tcsi.2006.887979
发表时间：
2007-01-01
影响因子：
5.1
作者：
Chan, Vincent;Liu, Shih-Chii;van Schaik, Andre
通讯作者：
van Schaik, Andre
DOI：
10.1109/tpami.2016.2574707
发表时间：
2017-07-01
影响因子：
23.6
作者：
Lagorce, Xavier;Orchard, Garrick;Benosman, Ryad B.
通讯作者：
Benosman, Ryad B.
DOI：
10.1109/tpami.2013.71
发表时间：
2013-11-01
影响因子：
23.6
作者：
Antonio Perez-Carrasco, Jose;Zhao, Bo;Linares-Barranco, Bernabe
通讯作者：
Linares-Barranco, Bernabe
影响因子：
4.3
作者：
Cohen, Gregory K.;Orchard, Garrick;van Schaik, Andre
通讯作者：
van Schaik, Andre