人脑记忆机制启发下的视觉信息表达、存储和提取方法研究
批准号:
62072468
项目类别:
面上项目
资助金额:
56.0 万元
负责人:
王延江
依托单位:
学科分类:
计算机图像视频处理与多媒体技术
结题年份:
2024
批准年份:
2020
项目状态:
已结题
项目参与者:
王延江
中文摘要
本项目将借鉴认知神经科学的最新研究成果,结合模式识别和机器学习理论对视觉信息在人脑中的表达、存储和提取方法进行研究,建立人脑视觉信息的情景和语义记忆模型,并将其用于大规模视觉数据的压缩、存储、分类和检索中。具体地,首先基于卷积神经网络对大脑视皮层腹侧视觉通路各区域神经元响应特性进行模拟,提出一种新的层次式视觉感知信息的不变性稀疏表达模型;然后建立一种新的标签嵌入字典学习算法对大脑内侧颞叶中鼻周皮层进行建模,用于模拟人脑语义记忆过程,并通过构建模式关联与竞争神经网络模型对海马体内的齿状回进行建模,以实现模式分离和情景记忆的快速存储;而在记忆提取时首先通过构建模式关联和自联想神经网络对海马CA3建模以对不同提取线索进行关联和模式补全,然后对海马CA1建模将解码后的视觉模式经内嗅皮层反向映射到鼻周皮层进行语义提取。
英文摘要
In this project, based on the theories of pattern recognition and machine learning and the insights gleaned from the latest research results of cognitive neuroscience, we will investigate and study the modeling of representation, storage, and retrieval of visual information in human brain and establish corresponding episodic as well as semantic memory models and apply them to the compression, storage, classification, and retrieval of big visual data. Firstly, the convolutionary neural network (CNN) is applied for simulating the response of the neurons of each brain area in the ventral stream of the visual cortex and establishing a new hierarchical layered sparse invariant representation model for visual information. Then, a new label embedded dictionary learning algorithm is established for modeling the perirhinal cortex in medial temporal lobe, which can be applied to simulate the semantic memory in brain. Additionally, pattern association and competitive neural network models are constructed for modeling the dentate gyrus in hippocampus, which can be used to implement pattern separation and fast episodic memory. While regarding the memory retrieval, the pattern association and autoassociation neural networks are adopted first for modeling the pattern completion of different incomplete retrieval cues in CA3, and then the CA1 is modeled for backprojecting the decoded visual pattern into the perirhinal cortex via the entorhinal cortex for semantic memory retrieval.
本项目借鉴认知神经科学的最新研究成果,结合模式识别和人工智能理论对视觉信息在人脑中的表达、存储和提取方法进行了深入研究。项目取得的主要研究成果如下:(1)结合卷积神经网络和概率聚类理论,提出一种图像特征表达和存储概率模型。研究结果表明,该模型不仅能够对学习过的图像进行准确分类,同时还能对未学习过的图像进行识别,突破了传统图像分类方法侧重于“分类”而忽略“认知”的缺陷;(2)构建了一种基于标签嵌入字典学习分类(LEDL)算法的视觉信息语义记忆模型,并将其用于模拟人脑鼻周皮层功能。基于该LEDL字典学习算法,可以对视觉图像进行语义分类和视觉编码;(3)为模拟海马体内齿状回(DG)的模式分离和快速情景语义记忆提取功能,基于增量式神经编码和模式关联网络,提出了一种增量模式关联记忆模型(IPAMM)。此外,为模拟海马情景记忆提取环路,在上述模式关联记忆网络(PAMM)模型基础上,提出了一种新的双向模式联想记忆(BPAM)神经网络记忆模型,并将其应用于视觉图像的模式联想和分类任务;(4) 受人类大脑记忆机制的启发,基于自适应共振理论(ART),提出了一种时空情景记忆模型用于对日常生活活动(STEM-ADL)序列进行编码与检索,该模型除能够用于对日常活动任务进行预测外,还能够同时对ADL类型和后续事件开始时间进行快速预测。此外,为更加深入理解人脑记忆功能,本项目还借助脑电(EEG)和弥散与功能核磁共振(dMRI/fMRI)等神经成像技术对视听诱发情绪脑电(EEG)信号的识别与分析方法,以及人脑结构和功能网络建模等与人脑视觉感知和记忆密切相关问题进行了深入研究和探讨, 并取得了多项创新性研究成果。.项目研究在国内外著名学术期刊和国际会议上发表学术论文67篇,其中被SCI检索期刊论文43篇,授权国家发明专利6项,7名研究生获博士学位,18人获硕士学位,完成了项目预期目标。项目取得成果有望应用于大规模视觉数据存储、压缩、分类和检索。
视觉注意与人脑记忆机制启发下的感兴趣目标提取与跟踪
-
批准号:61271407
-
项目类别:面上项目
-
资助金额:75.0万元
-
批准年份:2012
-
负责人:王延江
-
依托单位:
基于人工生命和多智能体协同进化的多目标跟踪方法研究
-
批准号:60873163
-
项目类别:面上项目
-
资助金额:28.0万元
-
批准年份:2008
-
负责人:王延江
-
依托单位:
国内基金
海外基金