学习理论中基于核函数的正则化算法的研究
结题报告
批准号:
11071276
项目类别:
面上项目
资助金额:
28.0 万元
负责人:
孙红卫
依托单位:
学科分类:
A0602.信息技术与不确定性的数学理论与方法
结题年份:
2013
批准年份:
2010
项目状态:
已结题
项目参与者:
张苏梅、王洪彦、尹丽子、郭芹、刘萍
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
正则化算法是统计学习理论的主要研究领域之一,本项目紧紧围绕正则化算法的核心问题,开展如下三个方面的研究。(1)研究基于弱相关抽样的正则化学习算法的误差及学习速率估计,包括研究强混合条件下的Online算法的误差与学习速率,建立基于弱相关抽样的Bernstain不等式,从而对基于强混合序列抽样的正则化最小二乘算法,改进现有的误差与学习速率的估计结果;(2)研究系数正则化算法, 包括基于系数p-范数作为正则项的系数正则化算法的误差估计与学习速率,积分算子方法的应用与改进, 当取系数的1-范数作为正则项时,建立有关其优化解的稀疏性理论;(3)研究梯度学习算法,利用覆盖数的方法建立依容量相关的误差估计与学习速率, 研究结合梯度的积分算子 的性质,用积分算子的方法得到依容量无关的误差估计与学习速率。上述研究的实现为正则化算法提供了理论保证,因此具有重要的理论意义。
英文摘要
正则化学习算法是统计学习理论的主要研究领域之一,本项目紧紧围绕正则化学习算法的核心问题,完成了如下几个方面的研究工作。(1)研究基于弱相关抽样的正则化学习算法的误差及学习速率估计,包括证明基于非同分布和强混合抽样过程的正则化算法的一致性, 通过引入核函数相应的条件, 成功得到基于强混合抽样过程与非正定核的系数正则化算法的误差界与学习速率的估计,同时提高了基于非正定核的学习速率的估计结果; (2)研究系数正则化算法,通过引入一种step-stone技巧,研究了取系数的1-范数作为正则项的系数正则化算法的误差估计与学习速率,并且给出其优化解稀疏性的一种表示,进一步研究了基于系数p-范数作为正则项的系数正则化算法的渐进收敛性; (3)研究了基于核正则化的典型相关分析(CCA)的误差分析与收敛速率,这里克服的主要困难是逼近条件的确定以及算子逼近的估计,进一步研究了基于核正则化的条件CCA学习的收敛速率; (4)此外,我们研究了梯度学习算法、 谱正则化算法、 基于无界抽样的正则化算法的一致性, 研究了多核正则化算法优化解的存在性。上述研究成果丰富了正则化学习算法的理论基础,具有重要的理论与实际意义。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1142/s0219530513500206
发表时间:2013-09
期刊:Analysis and Applications
影响因子:2.2
作者:Hongwei Sun;Qiang Wu
通讯作者:Hongwei Sun;Qiang Wu
Improved Asymptotic Analysis of Least Square Regression Learning
最小二乘回归学习的改进渐近分析
DOI:--
发表时间:2011
期刊:Journal of Computational Information Systems
影响因子:--
作者:Qin Guo;Hongwei Sun
通讯作者:Hongwei Sun
DOI:--
发表时间:2011
期刊:Advances in Difference Equations
影响因子:4.1
作者:Lizi Yin;Xilin Fu
通讯作者:Xilin Fu
DOI:--
发表时间:2012
期刊:Journal of Computational Information Systems
影响因子:--
作者:Xiaorong Chu;Hongwei Sun
通讯作者:Hongwei Sun
DOI:10.1080/00207160.2012.749985
发表时间:2013-07
期刊:International Journal of Computer Mathematics
影响因子:1.8
作者:X. Chu;Hongwei Sun
通讯作者:X. Chu;Hongwei Sun
面向大数据的核回归算法的学习理论
  • 批准号:
    11671171
  • 项目类别:
    面上项目
  • 资助金额:
    48.0万元
  • 批准年份:
    2016
  • 负责人:
    孙红卫
  • 依托单位:
国内基金
海外基金