神经网络的代数构造特征和可算性

结题报告

项目介绍

AI项目解读

基本信息

批准号：
11171137
项目类别：
面上项目
资助金额：
45.0万
负责人：
谢林森
依托单位：
丽水学院
学科分类：
A0205.调和分析与逼近论
结题年份：
2015
批准年份：
2011
项目状态：
已结题
起止时间：
2012-01-01 至2015-12-31

项目参与者：
房艮孙；蓝森华；卢诚波；程丽；张顺；项雪艳；
关键词：
快速算法下界估计神经网络代数结构

项目摘要

本项目研究神经网络的代数构造特性和它的可算性，以及在学习理论中的应用。主要研究内容为：当神经网络在某些空间中稠密时，探索其连接权代数结构并给出特征刻划以及快速算法，该研究将为神经网络的广泛应用提供理论基础；当子空间由神经网络生成时，研究学习理论中逼近误差的上、下界估计，并设计神经网络的快速算法，尤其是对下界估计的研究将为优化神经网络提供量化的判断依据。通过这些研究，将丰富和完善神经网络理论，在应用中可减少神经网络的计算成本，从本质上提高神经网络的有效性。

结项摘要

本项目按计划研究了神经网络的代数构造特征和它的可算性，以及在机器学习理论中的应用。主要研究成果和意义：.1. 在激活函数具有足够光滑性的条件下，构造了一类单隐层前馈神经网络，使其逼近连续函数的速度达到最佳逼近多项式逼近速度，并利用脊函数的多项式逆向表达式，刻划了该类单隐层前馈神经网络连接权的逼近性态；研究了当激活函数为细分函数时，神经网络连接权的代数构造特征以及可算性，为拓展神经网络的应用和提高其有效性奠定了基础；利用几类特殊的结构矩阵来设计单隐层前馈神经网络的权矩阵，在计算单隐层前馈神经网络的外权矩阵时只需要计算特殊矩阵的逆矩阵，较大地提高了神经网络的训练效率。.2. 设计了单隐层前馈神经网络的一种高精度、鲁棒的在线贯序学习算法（OS-DFT-ELM），该算法基于离散傅里叶变换-超限学习机（DFT-ELM），能够逐个或逐段学习数据，使得内权和外权逐次更新。与Huang等人提出的“在线贯序-超限学习机”（OS-ELM）相比，OS-DFT-ELM具有更高的精度和鲁棒性；提出了一种特征空间上的聚类算法，基于Laplacian图和超限学习机映射，我们设计了一种优化权矩阵，将数据映射到特征空间上进行聚类，利用该映射，原始空间上的数据能够在特征空间上进一步被分离，增加可分性，从而提高聚类的精确度。.3. 在研究中，试图提高神经网络的效度，需要在非全序集上来求某种优化。已获得：在链完备预序集上建立序集束不动点定理，并把它应用到广义Nash均衡理论；研究了一些在Banach格上向量和赋序变分不等式的可解性，并把它应用到求解某种非全序优化问题；解决了一些非量化博弈问题，进一步推广Nash均衡理论；利用赋序集上不动点方法求得相关问题的解并正在试图应用到神经网络复杂度和效度的比较中。.4. 在拟Banach空间范畴内，研究了加权Besov型和Triebel-Lizorkin型函数空间的Sobolev嵌入在紧性条件下的Gelfand数，Kolmogorov数和Weyl数渐近阶的精确估计，补充了对应逼近数的精确阶估计。在拟Banach空间范畴内得到了几乎所有非超限情况下三种经典宽度的精确阶，给出带微小扰动多项式权情况下上述经典宽度精确阶的完整估计。有关各种基本函数类的的逼近特征，包括不同相关宽度估计的研究是和连续问题的计算复杂性估计，各类优化问题，包括神经网络问题问题密切相关的。