基于预测编码的深度神经网络及其快速推断方法研究

批准号:
61976174
项目类别:
面上项目
资助金额:
61.0 万元
负责人:
张讲社
依托单位:
学科分类:
认知与神经科学启发的人工智能
结题年份:
2023
批准年份:
2019
项目状态:
已结题
项目参与者:
张讲社
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
作为神经科学领域的一种仿生模型,预测编码因能够对大脑视觉皮层的组织结构和感知推断功能做出合理性解释而受到广泛关注。由于假定神经网络的隐层表示同时受低层和高层神经元表示的影响,且隐层表示没有显式计算公式,预测编码的推断功能必须通过迭代计算的优化过程实现,导致计算复杂度随网络层数超线性增长,无法应用于实际问题。申请人前期提出通过直接学习从输入到隐层表示的回归映射,可将单隐层预测编码模型的推断速度提高65-77倍。本项目将以预测编码的推断问题为切入点,进一步研究可进行高效推断的深度预测编码网络结构,研究从确定性推断模式到概率型推断模式的拓展方法,研究可提高所提模型判别能力和重构能力的高效学习算法。研究结果有望构建更加接近于生物神经系统的网络模型,进一步提升深度结构模型的特征提取能力和表示推断效率,拓展其应用范围。
英文摘要
As a biomimetic model, predictive coding (PC) has become increasingly popular for explaining a range of neural inference functions and many aspects of brain organization. The basic PC assumes that the latent representation of neural networks is affected by both the lower- and higher-level representations, and that there is no explicit formulation for computing the latent representation. Therefore, the PC has to perform inference through an iterative optimization procedure, which results in the superlinear increasing of computational complexity with the number of layers, and hindering its applications. The applicant has previously proposed that by learning a regression mapping from the input to the representation, the inference process of the improved model would be 65-77 times faster than that of the original PC model. Aim to solve the problem of inference inefficiency in PC, this project will further study the deep PC network with the efficient inference process, the deterministic and probabilistic inference methods, and the associated efficient learning algorithms to improve the model's performance on discriminative and reconstruction tasks. The goal of this project is to construct new network models inspired by the biological neural systems, and improve the efficiency of feature learning and inference, as well as exploiting the models' practical applications.
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1109/tgrs.2022.3188669
发表时间:2022-05
期刊:
影响因子:--
作者:Hongtao Wang;Jiangshe Zhang;Zixiang Zhao;Chunxia Zhang;Longxue Li;Zhiyu Yang;Weifeng Geng
通讯作者:Hongtao Wang;Jiangshe Zhang;Zixiang Zhao;Chunxia Zhang;Longxue Li;Zhiyu Yang;Weifeng Geng
DOI:10.1007/s10489-021-02940-z
发表时间:2022-01
期刊:Applied Intelligence
影响因子:5.3
作者:Changpeng Wang;Jiangshe Zhang;Tianjun Wu;Meng Zhang;Guang Shi
通讯作者:Changpeng Wang;Jiangshe Zhang;Tianjun Wu;Meng Zhang;Guang Shi
A model-driven network for guided image denoising
用于引导图像去噪的模型驱动网络
DOI:10.1016/j.inffus.2022.03.006
发表时间:2022-04
期刊:Information Fusion
影响因子:18.6
作者:Shuang Xu;Jiangshe Zhang;Jialin Wang;Kai Sun;Chunxia Zhang;Junmin Liu;Junying Hu
通讯作者:Junying Hu
DOI:10.1016/j.ins.2020.02.050
发表时间:2018-12
期刊:Information Sciences
影响因子:8.1
作者:Shuang Xu;Chunxia Zhang;Pei Wang;Jiangshe Zhang
通讯作者:Jiangshe Zhang
DOI:10.1016/j.scitotenv.2020.143513
发表时间:2020-11
期刊:The Science of the total environment
影响因子:--
作者:Guang Shi;Y. Leung;Jiangshe Zhang;T. Fung;Fang Du;Yu Zhou
通讯作者:Guang Shi;Y. Leung;Jiangshe Zhang;T. Fung;Fang Du;Yu Zhou
深度学习中随机梯度下降法的动力学分析及其与模型泛化能力的关系探索
- 批准号:12371512
- 项目类别:面上项目
- 资助金额:44.00万元
- 批准年份:2023
- 负责人:张讲社
- 依托单位:
不对称前向连接和后向连接深度结构模型和深度学习算法研究
- 批准号:61572393
- 项目类别:面上项目
- 资助金额:65.0万元
- 批准年份:2015
- 负责人:张讲社
- 依托单位:
基于深度学习的异构数据低维非线性表示
- 批准号:91230101
- 项目类别:重大研究计划
- 资助金额:70.0万元
- 批准年份:2012
- 负责人:张讲社
- 依托单位:
一类适用于K-最近邻分类的非负矩阵分解方法研究
- 批准号:61075006
- 项目类别:面上项目
- 资助金额:35.0万元
- 批准年份:2010
- 负责人:张讲社
- 依托单位:
基于概率幂律标度的聚类和回归方法
- 批准号:60675013
- 项目类别:面上项目
- 资助金额:25.0万元
- 批准年份:2006
- 负责人:张讲社
- 依托单位:
基于大脑神经元非线性编码机制的稳健聚类
- 批准号:60373106
- 项目类别:面上项目
- 资助金额:23.0万元
- 批准年份:2003
- 负责人:张讲社
- 依托单位:
基于视觉系统理论的聚类原理与方法
- 批准号:60075001
- 项目类别:面上项目
- 资助金额:13.0万元
- 批准年份:2000
- 负责人:张讲社
- 依托单位:
国内基金
海外基金
