具有时序迁移能力的Spiking-Transfer learning (脉冲-迁移学习)方法研究

批准号:
61806040
项目类别:
青年科学基金项目
资助金额:
20.0 万元
负责人:
解修蕊
依托单位:
学科分类:
F0601.人工智能基础
结题年份:
2021
批准年份:
2018
项目状态:
已结题
项目参与者:
张马路、冯旻昱、黄鹂、Eldad Antwi-Bekoe、肖艳清、陈素云、杨鹏程、杨泽衡
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
深度学习的分区域工作机制、迁移学习的知识重用机制以及具有时序信息处理特性的Spiking脉冲发放机制是生物神经系统的三种重要的信息处理方式。目前对于深度时序模型的Transfer Learning方法的研究,大多借鉴生物神经系统的分区工作机制和知识重用机制,缺乏对神经元的时序信息表示方法的模拟,导致其很难有效的迁移复杂高维时序数据中蕴含的知识。本课题在深度时序Transfer Learning最新研究成果的基础上,利用具有时序表达能力的Spiking脉冲发放机制,探索既具有高维时空特征表示和知识迁移能力,又具有较强普适性的Spiking-Transfer Learning新模型和训练方法。这些理论与方法的研究可以大幅度降低深度时序模型训练所需的数据量且提升模型的时序处理能力,为机器学习在高维时序数据处理中的进一步应用奠定理论基础。
英文摘要
Transfer learning on deep models has achieved a lot of success because it adopts the deep learning strategy and the knowledge reuse mechanism from the biological neural systems. However, the existing deep transfer learning models ignore the spiking emitting mechanism, which is an important information representation approach in the biological neural systems. This leads to the failure of these models on transferring useful knowledge in the high-dimensional sequential data. To solve this problem, in this study, we explore a new transfer learning mechanism based on the third generation of neural networks, the Spiking neural networks. By which the transfer learning method can imitate the sequential data representation mechanism in the biological system, which could improve the sequential knowledge transfer capability of the models. The study on the spiking-transfer learning method can be applied to the high-dimensional sequential applications, and help to understand the cognitive science and computational neuroscience in the machine learning in a high level.
本课题在时序迁移学习最新研究成果的基础上,利用第三代神经网络-Spiking 神经网络在时序数据表示上的优势,研究具有时序迁移能力的Spiking-Transfer Learning (脉冲-迁移学习)方法。具体而言,是在深入分析时序处理方法、深度脉冲神经网络、知识迁移、认知科学等现有研究成果的基础上,综合考虑神经系统的脉冲信息表示方式、神经元的脉冲时间编码机制、生物认知的STDP学习规则,探索既具有高维时空特征表示和知识迁移能力,又具有较强普适性的Spiking-Transfer Learning新模型和训练方法,从而为迁移学习在高维时序大数据处理问题中的应用提供理论保障。本课题主要完成情况概述如下:(1)为解决传统时序回归任务中无法有效的进行知识迁移的问题,引入模型迁移门及迁移单元策略,提出基于回归模型的有效知识迁移方法。该方法可以有效提升在时序多源域数据情况下,迁移学习的时序预测准确性。(2)为解决深度Spiking神经网络模型在时序数据上的编码问题,提出了基于功能脉冲单元的端到端的功能脉冲神经网络模型。该模型提升了传统方法的时序预测效果及普适性;(3)为提高深度Spiking神经网络的学习效率,提出了两种基于膜电压驱动的Spiking神经网络学习算法。该算法用神经元的膜电压作为权重调整的参考信号,可以更加简单高效的对权重进行调整。该算法具有更高的学习效率和准确率;(4)为解决脉冲神经网络的知识迁移问题,研究了深度脉冲神经网络的各层的知识可迁移性,并提出基于领域不变性表示(domain in-variance representation)的深度脉冲网络迁移学习模型。该研究证明了迁移学习在脉冲神经网络应用的可行性以及与传统深度迁移学习的区别,并且验证了模型的迁移效果及普适性。(5)为解决模型分布式部署训练过程中的通信成本问题,提出了基于脉冲深度神经网络的联邦蒸馏学习框架,以脉冲网络的输出代替网络参数或梯度参与通信,在保证效果的同时极大降低了联合训练的通信量。总体而言,本课题按照计划顺利完成相关研究,对未来时序脉冲模型的进一步研究应用奠定理论基础。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1007/s00521-019-04647-2
发表时间:2019-12-02
期刊:NEURAL COMPUTING & APPLICATIONS
影响因子:6
作者:Yang, Zeheng;Xie, Xiurui;Zheng, Xu
通讯作者:Zheng, Xu
First Error-Based Supervised Learning Algorithm for Spiking Neural Networks
第一个基于误差的尖峰神经网络监督学习算法
DOI:10.3389/fnins.2019.00559
发表时间:2019-06-06
期刊:FRONTIERS IN NEUROSCIENCE
影响因子:4.3
作者:Luo, Xiaoling;Qu, Hong;Chen, Yi
通讯作者:Chen, Yi
DOI:10.1007/s00500-018-3576-0
发表时间:2018-11
期刊:Soft Computing
影响因子:4.1
作者:Xie Xiurui;Liu Guisong;Cai Qing;Qu Hong;Zhang Malu
通讯作者:Zhang Malu
Multi-source sequential knowledge regression by using transfer RNN units
使用转移 RNN 单元的多源序列知识回归
DOI:10.1016/j.neunet.2019.08.004
发表时间:2019-11
期刊:Neural Networks
影响因子:7.8
作者:Xie Xiurui;Liu Guisong;Cai Qing;Wei Pengfei;Qu Hong
通讯作者:Qu Hong
Efficient dynamic domain adaptation on deep CNN
深度 CNN 上的高效动态域自适应
DOI:10.1007/s11042-019-08584-z
发表时间:2020
期刊:Multimedia Tools and Applications
影响因子:3.6
作者:Zeheng Yang;Guisong Liu;Xiurui Xie;Qing Cai
通讯作者:Qing Cai
国内基金
海外基金
