学习理论中基于核函数的正则化算法的研究

正则化学习算法是统计学习理论的主要研究领域之一，本项目紧紧围绕正则化学习算法的核心问题，完成了如下几个方面的研究工作。（1）研究基于弱相关抽样的正则化学习算法的误差及学习速率估计，包括证明基于非同分布和强混合抽样过程的正则化算法的一致性， 通过引入核函数相应的条件， 成功得到基于强混合抽样过程与非正定核的系数正则化算法的误差界与学习速率的估计，同时提高了基于非正定核的学习速率的估计结果； （2）研究系数正则化算法，通过引入一种step-stone技巧，研究了取系数的1-范数作为正则项的系数正则化算法的误差估计与学习速率，并且给出其优化解稀疏性的一种表示，进一步研究了基于系数p-范数作为正则项的系数正则化算法的渐进收敛性； （3）研究了基于核正则化的典型相关分析（CCA）的误差分析与收敛速率，这里克服的主要困难是逼近条件的确定以及算子逼近的估计，进一步研究了基于核正则化的条件CCA学习的收敛速率； （4）此外，我们研究了梯度学习算法、 谱正则化算法、 基于无界抽样的正则化算法的一致性， 研究了多核正则化算法优化解的存在性。上述研究成果丰富了正则化学习算法的理论基础，具有重要的理论与实际意义。