基于稀疏编码模型的深层学习神经网络
批准号:
61273023
项目类别:
面上项目
资助金额:
61.0 万元
负责人:
胡晓林
依托单位:
学科分类:
F0601.人工智能基础
结题年份:
2016
批准年份:
2012
项目状态:
已结题
项目参与者:
杨万扣、张晓露、周以苏、张清天、徐旻捷、王浩然、王立
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
深层学习和稀疏编码在解释大脑的工作机理、挖掘数据的结构信息、抽取用于模式识别的特征等方面发挥着重要作用。目前二者的结合备受关注,但结合方式主要是在现有的深层学习网络基础上进行修改,增加稀疏性约束。这种方式虽然简单直接,但无法克服现有深层学习网络学习过程慢、参数调整复杂的固有缺陷。本项目从另一个角度出发,提出直接以稀疏编码模型为基础构建深层学习网络。拟研究的稀疏编码模型包括单层和双层模型,构建的深层学习网络将既有基于单层模型的,又有基于双层模型的,还有基于单、双层模型混合的。一方面,通过理论分析建立基于稀疏编码模型的深层学习网络的理论基础,另一方面,通过实验对比发明一系列适合实际应用问题的深层学习网络。鉴于稀疏编码模型简洁的结构和良好的算法性能,它们与深层学习网络结合的这种方式不仅更加自然,还有助于克服现有深层学习网络的上述固有缺陷,并有望在计算神经科学领域和模式识别相关领域中发挥重要作用。
英文摘要
Deep learning and sparse coding play important roles in explaining the functional mechanism of the brain, mining the structural information of data and extracting features for pattern recognition. In these years, integration of the two models has attracted much interest. The main idea for the integration is adding sparsity constraints to the existing deep learning networks (DLNs). This method, though simple enough, cannot circumvent the inherent drawbacks of the existing DLNs including the slow learning process and troublesome parameter tuning process. In this project, from a different perspective, we propose to construct DLNs with sparse coding models as fundamental units. The sparse coding models that will be studied include single-layer and two-layer models, while the DLNs will be constructed based on single-layer models, two-layer models, as well as a combination of both. On one hand, we will establish the fundamental theory of the sparse coding models-based DLNs through theoretical analysis. On the other hand, we will devise a series of DLNs appropriate for real applications through extensive experiments. In view of the simple structure and excellent performance of the sparse coding models, this new integration method for sparse coding and deep learning is more natural and can help to circumvent the inherent drawbacks of the existing DLNs mentioned above. In addition, it is expected to play a significant role in computational neuroscience, pattern recognition and related areas.
近年来,作为机器学习的一个重要分支,深度学习(或称深层学习)方面的研究得到了学术界和工业界的广泛关注。而稀疏编码是机器学习的另一个重要分支。二者都起源于神经科学,与神经科学有着紧密的联系。本项目围绕深度学习和稀疏编码做了大量工作。一方面提出了一些有效的模型求解计算机视觉、语音处理等方面的工程问题,另一方面研究了视觉皮层的编码原理。同时,通过借鉴一些其他的神经科学的成果,本项目还研究了一些新的深度学习模型。最后,为了更深入的理解脑的信息处理的机制,研发更有效地深度学习模型,本项目还开展了两项功能性核磁共振成像(fRMI)的研究。具体包括以下五个方面的内容。.1)基于稀疏编码的深度学习及其在计算机视觉和大脑视听觉系统建模方面的应用。.2)稀疏编码在计算机视觉和机器学习中的应用。.3)基于反馈链接的深度学习模型及其在计算机视觉方面的应用。.4)其他用于图像显著性检测和人脸识别的计算机视觉算法。.5)基于fMRI的听觉系统信息处理机制。.这些研究得到了很多成果,可总结为两点。一是通过结合稀疏编码、反馈连接等脑科学的知识,有效地提高了深度学习模型对数据建模的能力;二是以深度学习和fMRI为工具,揭示了视听觉系统的一些工作机理。这些研究的科学意义在于表明脑科学与深度学习的结合能有效推动各自领域的发展。.在本项目资助下,项目组在国内外重要学术刊物、会议上发表论文26篇论文(含录用),其中14篇SCI期刊论文(包括IEEE Transactions 3篇,Neural Computation 1篇,PLOS ONE 1篇,Pattern Recognition 1篇),12篇国际会议论文(包括CVPR 2篇,NIPS 1篇,ICML 1篇),并申请国家发明专利1项,远超预期目标。.在本项目资助下,项目组在多项国内外模式识别竞赛中获得好成绩,表明我们的成果具有良好的应用推广价值,有可能在智能车、数字地图、脑机接口等领域得到广泛应用。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1016/j.neucom.2015.01.024
发表时间:2015-06
期刊:Neurocomputing
影响因子:6
作者:Jian Dong;Changyin Sun;Wankou Yang
通讯作者:Jian Dong;Changyin Sun;Wankou Yang
Solving the K-shortest paths problem in timetable-based public transportation systems
解决基于时刻表的公共交通系统中的K最短路径问题
DOI:10.1080/15472450.2015.1082911
发表时间:2016-09
期刊:Journal of Intelligent Transportation Systems
影响因子:3.6
作者:Yang, Yang;Hu, Xiaolin;Li, Jianmin;Xu, Bingji
通讯作者:Xu, Bingji
Neural representation of three-dimensional acoustic space in the human temporal lobe.
人类颞叶三维声学空间的神经表征
DOI:10.3389/fnhum.2015.00203
发表时间:2015
期刊:Frontiers in human neuroscience
影响因子:2.9
作者:Zhang X;Zhang Q;Hu X;Zhang B
通讯作者:Zhang B
Comparison of l(1)-Norm SVR and Sparse Coding Algorithms for Linear Regression
线性回归的 l(1)-Norm SVR 和稀疏编码算法的比较
DOI:--
发表时间:2015
期刊:IEEE Transactions on Neural Networks and Learning Systems
影响因子:10.4
作者:Zhang, Qingtian;Hu, Xiaolin;Zhang, Bo
通讯作者:Zhang, Bo
DOI:10.1162/neco_a_00567
发表时间:2014-04
期刊:Neural Computation
影响因子:2.9
作者:Peng Qi;Xiaolin Hu
通讯作者:Peng Qi;Xiaolin Hu
深度学习模型的攻防基础理论与关键技术研究
- 批准号:U19B2034
- 项目类别:联合基金项目
- 资助金额:262.2万元
- 批准年份:2019
- 负责人:胡晓林
- 依托单位:
基于KKT条件的优化递归神经网络簇设计
- 批准号:60805023
- 项目类别:青年科学基金项目
- 资助金额:19.0万元
- 批准年份:2008
- 负责人:胡晓林
- 依托单位:
国内基金
海外基金















{{item.name}}会员


