系数正则化学习算法分析中的构造方法研究

批准号:
11326096
项目类别:
数学天元基金项目
资助金额:
3.0 万元
负责人:
王承
依托单位:
学科分类:
A0205.调和分析与逼近论
结题年份:
2014
批准年份:
2013
项目状态:
已结题
项目参与者:
聂维琳、胡福星、杨水平、蒋辉
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
随着大型计算与信息技术的飞速发展,我们越来越多地面对如何分析和处理高维海量数据的挑战,而学习理论则是对这一实际问题作出研究的数学理论基础。Wu 2008提出样本依赖假设空间及其相关算法的基本分析以来,由于其更符合实际应用中的需要,各种不同形式的算法蓬勃发展。本项目考虑的就是其中常用的一种系数正则化算法,使用最小二乘损失函数进行回归问题的分析。在引进矩的递增界的条件之下,我们的问题推广到了更一般的无界情形。以构造一个中间过渡函数为出发点,我们希望改变传统的误差分解,使$l^p$系数正则化算法所得到的函数产生的过泛化误差分解为样本误差、逼近误差和假设误差三部分,对三部分采取不同分析方法以得到学习率。本项目计划采用的是构造性的方法,只要能符合误差分解各部分界的要求,即可作为我们的中间函数。因此,本项目的方法比较灵活,也很可能具有一定的普遍适用的意义,能够推广到其他算法的分析之上。
英文摘要
As the development of large scale computation and information technology, we face more and more challenge of analyzing and handling with mass of data. Learning theory is a mathematical foundation for studying this practical problem. Traditional analysis in learning theory is based on algorithms in which hypothesis space is reproducing kernel Hilbert space (RKHS). However, Wu 2008 proposed a basic analysis of sample dependent hypothesis space and the relevant algorithms. As it fits the practical problems more than RKHS, various algorithms of different kinds arise. Such algorithms become a research area in learning theory these days..In this project we consider a common algorithm - coefficient regularization algorithm. Using least squares loss function, the analysis of regression problem can be conducted. By introducing moment incremental condition, our problem extends to be a more general unbounded problem. Begin with constructing a stepping stone function, we expect to improve the classical error decomposition. The excess generalization error, produced by $l^p$ coefficient regularization algorithm, can be decomposed to three parts: sample error, approximation error and hypothesis error. Sample error can be bounded by some concentration inequality, error estimates for approximation error and hypothesis error can be implemented via vector-valued concentration inequality and operator analysis. Finally we get learning rates (convergence rates) using iteration technique. Different form former analysis, we plan to apply construction method in this project. A function meets the needs of all parts in the error decomposition can be taken to be a stepping stone function, i.e., the infinite norm satisfies some condition according to sample error, the convergence condition after action of a integral operator according to approximation error. Therefore, our method is flexible while choosing stepping stone functions, and may be with general significance, which is probably applied to other algorithm analysis.
随着大型计算和信息技术的飞速发展,我们越来越多地面对如何分析和处理高维海量数据的挑战,对这一实际问题人们提出了诸多算法,而学习理论则是对这些算法的所产生的误差,以及算法输出的收敛性和收敛速度的数学理论研究。最小二乘正则化算法即为一类最常见的学习算法,而近年来出现以样本依赖空间为假设空间,选取合适正则化项的方法,由于其函数空间具有有限的维度,更为容易计算,且在一定条件下具有稀疏性的优点,而被广泛应用。对这些算法,传统的分析方法,都是建立一个误差分解,将过泛化误差分解为样本、逼近和假设误差三部分,分别确定其上界。本项目采用有一定灵活度的构造方法,选取不同的过度(stepping stone)函数,使不同框架下的算法均能符合同一种误差分解,并能得到某种情况下优于过去学习率的结果。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2014
期刊:数学的实践与认识
影响因子:--
作者:杨水平;肖爱国
通讯作者:肖爱国
DOI:10.1142/s0219691314500088
发表时间:2014
期刊:Int. J. Wavelets Multiresolution Inf. Process.
影响因子:--
作者:Cheng Wang;Jia Cai
通讯作者:Cheng Wang;Jia Cai
Constructive Analysis for Least Squares Regression with Generalized K-Norm Regularization
具有广义 K 范数正则化的最小二乘回归的建设性分析
DOI:10.1155/2014/458459
发表时间:2014-07
期刊:Abstract and Applied Analysis
影响因子:--
作者:Wang, Cheng;Nie, Weilin
通讯作者:Nie, Weilin
An adaptive mesh method for 1D hyperbolic conservation laws
一维双曲守恒定律的自适应网格方法
DOI:10.1016/j.apnum.2014.10.008
发表时间:2015
期刊:Applied Numerical Mathematics
影响因子:2.8
作者:Fuxing Hu;Rong Wang;Xueyong Chen;Hui Feng
通讯作者:Hui Feng
DOI:--
发表时间:2013
期刊:中国科学: 数学
影响因子:--
作者:蔡佳;王承
通讯作者:王承
基于核函数的动量梯度下降算法研究及应用
- 批准号:n/a
- 项目类别:省市级项目
- 资助金额:10.0万元
- 批准年份:2022
- 负责人:王承
- 依托单位:
采用pinball loss的MEE算法研究
- 批准号:11401247
- 项目类别:青年科学基金项目
- 资助金额:23.0万元
- 批准年份:2014
- 负责人:王承
- 依托单位:
国内基金
海外基金
