时空序列驱动的神经形态视觉目标识别算法研究
结题报告
批准号:
61906126
项目类别:
青年科学基金项目
资助金额:
24.0 万元
负责人:
耿天玉
依托单位:
学科分类:
F0609.认知与神经科学启发的人工智‍能
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
神经形态视觉传感器作为类脑科学的一个重要实际应用,按异步地址事件表达(AER)协议输出时空序列,具有高动态范围、低功耗、低带宽传输等优势。尽管现有众多传统计算机视觉算法,但无法直接用于处理AER事件流,而脉冲神经网络的时间编码方法将信息编码为包含精确时间的脉冲序列,能有效地利用AER事件流的时空特性。因此,本项目拟结合脉冲神经网络,探索AER事件流数据处理的新算法与新思路。首先,分析AER事件流的时空特性,提出降噪方法;其次,建立多脉冲完全时间编码与学习的目标识别系统;然后,研究深度脉冲神经网络,提出基于时空误差反传的代价函数,进一步提高算法模型的目标识别性能;最后,搭建实验平台,测试算法模型。本课题通过研究基于AER事件流的时空特性构建算法模型,进一步挖掘神经形态视觉传感器的应用潜力,对类脑计算的发展具有重要的研究价值和实际意义。
英文摘要
As an important practical application of neuromorphic science, neuromorphic vision sensor outputs spatio-temporal sequence according to asynchronous Address Event Representation (AER) protocol, which has advantages of high dynamic range, low power consumption and low bandwidth transmission. Although there are many traditional computer vision algorithms, they cannot be directly used to process AER events. The temporal coding method of spiking neural network encodes information into spiking sequences with accurate time, which can effectively utilize the spatio-temporal characteristics of AER events. Therefore, this project intends to explore new algorithms and new methods for AER events processing by combining spiking neural network. Firstly, the spatio-temporal characteristics of AER events are analyzed and a noise reduction method is proposed. Secondly, the object recognition system of multi-spike complete time coding and learning is established. Then, the deep spiking neural network is studied, and a cost function of the spatio-temporal error back-propagation is proposed to improve the performance of the algorithm. Finally, the experimental platform is built and the algorithm model is tested. By studying the spatio-temporal characteristics of AER events, this paper constructs an algorithm model to further explore the application potential of the neuromorphic vision sensor, which has important research value and practical significance for the development of neuromorphic computing.
该项目针对神经形态视觉传感器(也称之为事件相机)的感知信息处理问题,即现有的计算机视觉算法模型无法直接使用这种神经形态视觉传感器输出的脉冲事件流。提出构建脉冲神经网络来处理神经形态视觉的AER异步事件流信号,分析AER事件流的时空特性分析、建立多脉冲完全时间编码与学习的目标识别系统。.该项目针对神经元内部状态变量及误差函数的不连续性,利用时间脉冲的卷积核函数构建输入层脉冲序列;在隐藏层利用漏电-整合-激发神经元模型,求解突触后神经元的膜电压。然后利用一种对Widrow-Hoff学习规则的模拟,来进行梯度的误差降低和反传。该神经网络模型具有强大的处理复杂的时序数据的能力,将有助于实现类脑计算在实际中的应用。.综上所述,由于脉冲神经网络的脉冲序列编码的局限性,研究基于时空误差反传的代价函数在多层脉冲神经网络中无法收敛,因此,该项目没有解决直接训练脉冲神经网络的问题。目前项目组正在尝试将训练好的传统神经网络直接进行转化,尽管这种转化受限于多方面引起的精度损失,但已有学者们的研究成果证明了其思路的可行性。因此,课题组拟采用先训练传统神经网络再进行脉冲神经网络转化的思想,继续探索深度脉冲神经网络的构建与设计。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
State Causality and Adaptive Covariance Decomposition Based Time Series Forecasting.
基于状态因果关系和自适应协方差分解的时间序列预测
DOI:10.3390/s23020809
发表时间:2023-01-10
期刊:Sensors (Basel, Switzerland)
影响因子:--
作者:
通讯作者:
DOI:10.16511/j.cnki.qhdxxb.2020.26.035
发表时间:2021
期刊:清华大学学报. 自然科学版
影响因子:--
作者:胡滨;耿天玉;邓赓;段磊
通讯作者:段磊
SHNN: A single-channel EEG sleep staging model based on semi-supervised learning
SHNN:基于半监督学习的单通道脑电睡眠分期模型
DOI:10.1016/j.eswa.2022.119288
发表时间:2022-11
期刊:Expert Systems with Applications
影响因子:8.5
作者:Yongqing Zhang;Wenpeng Cao;Lixiao Feng;Manqing Wang;Tianyu Geng;Jiliu Zhou;Dongrui Gao
通讯作者:Dongrui Gao
国内基金
海外基金