不对称前向连接和后向连接深度结构模型和深度学习算法研究

批准号:
61572393
项目类别:
面上项目
资助金额:
65.0 万元
负责人:
张讲社
依托单位:
学科分类:
F0201.计算机科学的基础理论
结题年份:
2019
批准年份:
2015
项目状态:
已结题
项目参与者:
刘军民、惠永昌、杜芳、李会荣、柯乔、费蓉蓉、宋增杰、谈承利、周长胜
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
深度结构和深度学习在机器学习、数据挖掘、大脑建模等领域起着愈来愈重要的作用。心理行为分析、认知学研究和神经生理实验的大量证据表明,多层级联组织是大脑的一个关键特征。在这种多层级联深度结构中,层与层之间前向连接和后向连接在组织结构和运作方式上存在明显的非对称差异,这种差异对于大脑的有效运作具有不可或缺的重要作用,而现有的深度结构和深度学习方法并未有效考虑这一特征。本项目试图借助近年来提出和发展的三类描述大脑运作机制的神经计算原理和理论:自由能原理、贝叶斯脑假设和有效编码原理,探索在深度机器学习模型中引入前向连接和后向连接不对称性结构,研究后向连接的组织方式和约束条件,构建以双层网为基础学习单元的深度学习方法,研究利用表示神经元和误差神经元分别表述的同层异类网络模型,研究将权重作为随机变量的后验分布学习方法及抽样运作机制。所获结果有望进一步提升深度学习算法性能,拓展其应用范围。
英文摘要
Deep architecture and deep learning play a very important role in machine learning, data mining, and brain modeling. There is strong behavioral, cognitive and physiological evidence that the hierarchical organization is a key architectural principle. In this hierarchical deep architecture, the forward and backward connections show both a microstructure and functional asymmetrical distinction. Such an asymmetrical distinction is very important for brain work and is not involved in the existed artificial deep learning model. In this project, We will use three neural computational theories, free-energy principle, Bayesian brain hypothesis, and the principle of efficient coding, that describe the working mechanisms of the brain, to construct a deep learning machine with asymmetrical forward and backward connections, explore different constraints and connection forms on backward connections, construct double-level network and design its fast training algorithms. We will also consider introducing different kind of neurons such as error neurons and representation neurons in the same level, computing a posterior distribution over connection weights and designing the sampling methods. The proposed models and learning algorithms will improve the performance and expand the application scopes of deep learning machines.
深度学习是一类通过模拟大脑的信息处理机制而搭建的多层人工神经网络,是机器学习领域的研究热点。本项目探索了在深度机器学习模型中引入前向连接和后向连接不对称性结构,通过有效模拟大脑运作机制,提升了深度学习算法性能。本项目所取得的成果主要集中在深度学习网络结构的设计、深度模型的高效学习、深度学习与其他机器学习方法的结合、相关模型在高维数据的变量选择及实际问题中的应用方面,下面对这几方面的代表性成果作简单介绍。..在深度网络结构的设计方面,提出了快速推断预测编码深度模型,高效解决了有监督的图像分类问题。提出了一种新的生成式对抗网Lp-WGAN,有效改善了GAN模型在训练过程中的不稳定性。提出了一种改进的Helmholtz机模型,为输入数据学习到了更好的表示。提出了带水平连接的受限玻尔兹曼机模型,提取了更干净的特征,并达到了更好的分类精度。..在深度学习模型的高效学习方面,提出了深度信念网的一种分布式并行学习算法,在保证原算法预测精度的同时,大大提高了计算速度。提出了一种基于流形正则化的推广的极端学习机自编码模型GELM-AE,并堆栈了多层深度学习模型,在保证计算效率的同时,提取到了更抽象的特征。..在深度学习与其他机器学习方法的结合方面,提出了能进行判别式表示学习的自编码模型,达到了更好的特征提取和分类效果。针对多模态数据的深度学习,提出了一种高效的基于极端学习机的分层融合框架,达到了更好的分类效果。..在高维数据的变量选择方面,提出了基于排序策略修剪变量选择集成的新方法,有效提高了现有变量选择集成选中重要变量的准确性。针对高维的logistic回归模型,提出了一种新的基于变分Bayes原理的变量选择方法。..在深度学习等模型的应用方面,提出了基于稀疏BP训练的前向神经网络预测空气污染浓度的模型,在香港地区的大气污染数据上取得了良好效果。在遥感图像的全色锐化方面,提出了基于卷积稀疏表示的细节增强算法,更好地保持了光谱和空间信息。..本项目共发表SCI论文37篇,培养研究生13名。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Lp-WGAN: Using Lp-norm normalization to stabilize Wasserstein generative adversarial networks
Lp-WGAN:使用 Lp 范数标准化来稳定 Wasserstein 生成对抗网络
DOI:10.1016/j.knosys.2018.08.004
发表时间:2018-12
期刊:Knowledge-Based Systems
影响因子:8.8
作者:Zhou C;Zhang J;Liu J
通讯作者:Liu J
Discriminative low-rank representation with Schatten-p norm for image recognition
用于图像识别的具有 Schatten-p 范数的判别性低秩表示
DOI:10.1007/s11042-019-7653-x
发表时间:2019-08
期刊:Multimedia Tools and Applications
影响因子:3.6
作者:Wang Changpeng;Zhang Jiangshe;Shi Guang
通讯作者:Shi Guang
Robust face recognition via discriminative and common hybrid dictionary learning
通过判别式和通用混合字典学习实现鲁棒的人脸识别
DOI:10.1007/s10489-017-0956-6
发表时间:2018
期刊:Applied Intelligence
影响因子:5.3
作者:Wang Chang-Peng;Wei Wei;Zhang Jiang-She;Song Hou-Bing;Wei W
通讯作者:Wei W
Symmetric low-rank representation with adaptive distance penalty for semi-supervised learning
用于半监督学习的具有自适应距离惩罚的对称低秩表示
DOI:10.1016/j.neucom.2018.08.017
发表时间:2018-11
期刊:Neurocomputing
影响因子:6
作者:Wang C.-P.;Zhang J.-S.;Du F.;Shi G.
通讯作者:Shi G.
Generalized extreme learning machine autoencoder and a new deep neural network
广义极限学习机自动编码器和新的深度神经网络
DOI:10.1016/j.neucom.2016.12.027
发表时间:2017
期刊:Neurocomputing
影响因子:6
作者:Sun Kai;Zhang Jiangshe;Zhang Chunxia;Hu Junying
通讯作者:Hu Junying
深度学习中随机梯度下降法的动力学分析及其与模型泛化能力的关系探索
- 批准号:12371512
- 项目类别:面上项目
- 资助金额:44.00万元
- 批准年份:2023
- 负责人:张讲社
- 依托单位:
基于预测编码的深度神经网络及其快速推断方法研究
- 批准号:61976174
- 项目类别:面上项目
- 资助金额:61.0万元
- 批准年份:2019
- 负责人:张讲社
- 依托单位:
基于深度学习的异构数据低维非线性表示
- 批准号:91230101
- 项目类别:重大研究计划
- 资助金额:70.0万元
- 批准年份:2012
- 负责人:张讲社
- 依托单位:
一类适用于K-最近邻分类的非负矩阵分解方法研究
- 批准号:61075006
- 项目类别:面上项目
- 资助金额:35.0万元
- 批准年份:2010
- 负责人:张讲社
- 依托单位:
基于概率幂律标度的聚类和回归方法
- 批准号:60675013
- 项目类别:面上项目
- 资助金额:25.0万元
- 批准年份:2006
- 负责人:张讲社
- 依托单位:
基于大脑神经元非线性编码机制的稳健聚类
- 批准号:60373106
- 项目类别:面上项目
- 资助金额:23.0万元
- 批准年份:2003
- 负责人:张讲社
- 依托单位:
基于视觉系统理论的聚类原理与方法
- 批准号:60075001
- 项目类别:面上项目
- 资助金额:13.0万元
- 批准年份:2000
- 负责人:张讲社
- 依托单位:
国内基金
海外基金
