面向大数据的核回归算法的学习理论
结题报告
批准号:
11671171
项目类别:
面上项目
资助金额:
48.0 万元
负责人:
孙红卫
依托单位:
学科分类:
A0205.调和分析与逼近论
结题年份:
2020
批准年份:
2016
项目状态:
已结题
项目参与者:
吴强、蔡佳、管延勇、孙鹏举、李朦、庞梦娟
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
大数据分析日益成为制约信息技术发展的瓶颈。大数据分析中,并行计算与分布式学习的思想得到广泛的关注。本项目针对面向大数据的正则化分布式回归学习算法,开展如下几个方面的研究。(1)基于正则化核网络的分布式回归学习。包括取系数的q(q=1,2)范数作为正则项的分布式算法、基于一般凸损失函数的正则化分布式学习算法的一致性;采取偏差校正方法来改进正则化核网络在分布式回归中的应用。(2) MEE回归学习的一致性。包括基于非二阶Renyi熵与Shannon熵的最小误差熵算法的收敛性分析;研究将最小误差熵算法用作分布式学习的基础算法的可行性与算法一致性;建立对应于最小误差熵算法的在线学习算法并研究其收敛性。(3) 研究强混合条件下,大数据分成多个子数据集的合理方法,并将其用于核网络分布式算法;提出独立但非同边缘分布的样本假设,在此基础上分析核网络算法的收敛性;进而研究基于非同分布数据的分布式算法的收敛性。
英文摘要
Big data analysis is the key point of the development of information technology. Parallel computing and distributed learning have been wildly applied in big data analysis. This project studies the consistency of distributed regularized regression learning, mainly focuses on the following problems.(1) For coefficient based distributed regularized regression learning. We intend to study the performance of distributed q(q=1,2)norm regularization; to give the mathematical analysis of distributed regularized regression learning with general convex loss functions;we also want to improve the application of regularization kernel network in distributed regression by searching suitable deviation correction methods. (2) The consistence of empirical minimum error entropy(MEE) algorithms for regression learning is considered, including the convergence analysis of MEE algorithms based on the Renyi’s entropy of order or Shannon entropy; the performance of distributed learning using MEE algorithms in an individual machine ; also we intend to construct the online learning associated with MEE algorithms and discuss its convergence. (3) Under the strong mixing condition, we consider how to divide a big data set into some disjoint subsets, to ensure the convergence of distributed kernel network regression algorithms . In other way, we propose a more weak and practical condition for the marginal distribution sequence, and prove the consistence of regularized regression learning based on this kind non-iid sampling, after that we discuss the consistence analysis of distributed regression learning with more general non-iid sampling.
针对大数据的分布式核机器学习,是近年来学习理论的主要研究领域之一。 本项目研究几类分布式核正则化回归学习算法的一致性与学习速率。 主要研究成果包括, (1) 证明了基于系数正则化的分布式核回归学习的一致性与学习速率, 进一步提出并研究了基于部分系数正则化的分布式核回归学习的一致性与学习速率; (2) 提出了改进的排一分析方法,进而证明了即使是缺陷核(imperfect kernel), 分布式核岭回归学习与基于偏差校正的分布式核岭回归学习在一定条件下仍可达到最优学习速率。证明了对于perfect核函数以及输出数据无噪声的情形, 核岭回归学习算法的学习速率可达到 N^{-1},最好的情形甚至可达到N^{-2} ; (3) 研究了基于二阶Renyi熵的MEE梯度下降学习算法,证明了分布式MEE梯度下降算法在适当的条件下可以达到最优学习速率。 证明了在分布式MEE中加入非标号数据可以在较弱的正则化条件下提高学习速率、减弱数据分割数量的限制条件;(4) 针对基于非同分布抽样的正则化算法,我们提出了边缘分布有界的条件,进而证明了正则化回归学习算法与系数正则化回归学习算法的一致性,进一步研究了基于相关抽样的分布式学习算法的误差分析;(5) 构建了针对流数据的在线正则化回归学习算法,并证明了采取“块数据”容量适度增长,既可以避免欠正则化现象,又可以达到最优学习速率;(6) 提出了基于方差损失的系数正则化回归学习算法, 采取算子逼近、误差分解与迭代的技巧方法,给出误差界的估计。. 本项目共完成学术论文17篇,其中正式发表文章16篇,SCI收录14篇,EI收录2篇,达到了项目的预期目标。邀请专家讲学9人次,举办国内学术会议一次,参加国际及全国性学术会议10余人次。培养学习理论方面的研究生6名, 其中毕业3名。我们在分布式正则化学习算法、基于非同分布抽样的正则化算法等领域的工作受到同行专家的关注。完成了项目的预期目标。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1109/tsp.2016.2612169
发表时间:2016-12-15
期刊:IEEE TRANSACTIONS ON SIGNAL PROCESSING
影响因子:5.4
作者:Hu, Ting;Wu, Qiang;Zhou, Ding-Xuan
通讯作者:Zhou, Ding-Xuan
Regularized Least Square Kernel Regression for Streaming Data
流数据的正则化最小二乘核回归
DOI:--
发表时间:--
期刊:Communications in Mathematical Sciences
影响因子:1
作者:Xiaoqing Zheng;Hongwei Sun;Qiang Wu
通讯作者:Qiang Wu
SKETCH-BASED IMAGE RETRIEVAL VIA CAT LOSS WITH ELASTIC NET REGULARIZATION
通过具有弹性网络正则化的猫丢失进行基于草图的图像检索
DOI:10.3934/mfc.2020013
发表时间:2020
期刊:MATHEMATICAL FOUNDATIONS OF COMPUTING
影响因子:1.4
作者:Cai Jia;Xu Guanglong;Hu Zhensheng
通讯作者:Hu Zhensheng
DOI:10.1142/s0219691317500072
发表时间:2017-01
期刊:International Journal of Wavelets Multiresolution and Information Processing
影响因子:1.4
作者:Zhang Meijian;Sun Hongwei
通讯作者:Sun Hongwei
Distributed regression learning with coefficient regularization
具有系数正则化的分布式回归学习
DOI:10.1016/j.jmaa.2018.06.013
发表时间:2018-10
期刊:Journal of Mathematical Analysis and Applications
影响因子:1.3
作者:Pang Mengjuan;Sun Hongwei
通讯作者:Sun Hongwei
学习理论中基于核函数的正则化算法的研究
  • 批准号:
    11071276
  • 项目类别:
    面上项目
  • 资助金额:
    28.0万元
  • 批准年份:
    2010
  • 负责人:
    孙红卫
  • 依托单位:
国内基金
海外基金