概念嵌入：基于概念森林的深度表达学习可解释性研究

批准号：

61936001

项目类别：

重点项目

资助金额：

299.0 万元

负责人：

王国胤

依托单位：

重庆邮电大学

学科分类：

机器学习

结题年份：

2024

批准年份：

2019

项目状态：

已结题

项目参与者：

王国胤

关键词：

知识发现认知计算非神经网络深度模型粒计算云模型

项目摘要

结项摘要

王国胤的其他基金

相似基金

相关文献

中文摘要

传统深度神经网络能够从数据中抽取建立一个层次性的特征空间结构，但缺乏从特征空间到知识空间的映射，导致其内部知识可解释性差的问题。本项目利用概念树的可解释性和层次结构特性，提出概念森林的知识深度表达模型，将概念森林的层次知识表达结构映射到深度神经网络的特征空间表达结构，从而实现可解释的深度表达学习。具体研究内容包括：建立概念森林的知识深度表达模型，实现可解释的“数据→概念→概念树→概念森林”的数据与知识统一表达；提出“数据→概念”、“概念→概念树”、“概念树→概念森林”的学习算子和变换算子，发展贝叶斯云模型，构建概念森林的知识深度表达空间；建立概念森林知识深度表达空间与深度神经网络特征空间之间的映射，实现零/少样本学习的知识迁移与动态演化，以及跨层概念间的关联表示和知识推理；通过学习不确定性驾驶环境中的无人艇驾驶态势感知和智能控制知识的实验，验证相关理论模型方法的有效性。

英文摘要

Traditional deep neural networks extract and build hierarchical feature space structure, which is hard for understanding from data. However, there is no mapping between a feature space and a knowledge space easy for understanding. It leads to poor interpretability of the neural network’s internal knowledge. Taking advantage of the interpretability and hierarchical structure characteristics of concept trees, this project aims to propose a deep knowledge representation model called concept forest. It maps the hierarchical knowledge representation structure of a concept forest to the feature space representation structure of a deep neural network, and further realizes interpretable deep representation learning. It includes the following four key research tasks. The first, realizing a unified interpretable representation “data -> concept -> concept tree -> concept forest” for data and knowledge through establishing a deep knowledge representation model based on concept forest. Then, proposing learning and transforming operators of "from data to concept", "from concept to concept tree" and "from concept tree to concept forest", developing a Bayesian Cloud Model, and constructing a deep knowledge representation space based on concept forest. The third, establishing a mapping between the hierarchical feature space of a deep neural network and the deep knowledge representation space of a concept forest, realizing the knowledge transformation and dynamic evolution of zero-shot or small-shot learning, as well as the association representation and knowledge reasoning among cross-layer concepts. The last, verifying the effectiveness of the theoretical models and methods of this project by experiments of learning the knowledge of situation awareness and intelligent control of driving unmanned boats in uncertain driving environments.

从大数据中发现和学习知识的机器学习过程，也是对庞大数据空间中概念及其复杂不确定性的认知过程。传统深度学习模型没有反映人脑思维的认知机理，导致了知识可解释性差的瓶颈问题。项目组以多粒度认知计算模型和不确定性理论为基础，围绕领域知识概念树表达方式及其在深度学习模型中的应用，从“理论-方法-应用”三个方面，系统研究了基于概念森林结构的可解释深度认知学习框架。1)基于概念森林的深度结构知识表达模型的理论研究：基于云模型和粗糙集等不确定性基础理论，从多粒度认知的角度研究了“数据→概念→概念树”的实现途径，以及深度结构知识空间的层间变换算子，提出了一种粒球计算理论模型以及基于云模型的聚类等算法，并与强化学习等多种机器学习模型相结合，取得了良好效果。2)概念森林深度知识表达空间与深度神经网络特征空间之间的映射机制研究：从多粒度认知计算角度，提出了多粒度过程可视化以及分频分步图像重建等深度学习模型解释方法；提出了生成模型VAE和GAN在概念嵌入下的深度学习隐空间解耦可解释方法；以多粒度认知和概念树为支撑，从因果分析角度，改进了神经过程模型位置编码缺乏层次性和CNN可解释性问题。3)基于概念森林融入语义的认知机器学习方法设计：以知识驱动和概念嵌入为基础，将数据的多粒度结构表征嵌入到隐空间中，提出了多粒度池化图神经网络等模型，构建了与人类认知相符的图神经网络解释器，并在分子性质预测和社交网络中进行了验证。4)在无人艇等应用领域的验证：以基于概念和知识嵌入等多粒度不确定性认知计算理论为支撑，研究了无人系统任务分配、路径规划、多艇智能博弈和少样本目标检测等决策控制方法；提出了基于概念树的深度学习决策结果解释框架，在图像识别、无人艇的智能CAD设计、法律罪名和条款预测以及分子性质预测中实现了应用验证。2022年项目负责人牵头获批国家自然科学基金创新研究群体项目“多粒度认知计算理论及应用”，部分成果获省部级以上科技奖9项。