噪声数据的非凸损失函数支持向量机最优化模型与算法研究

批准号:
11871183
项目类别:
面上项目
资助金额:
52.0 万元
负责人:
邵元海
依托单位:
学科分类:
A0405.连续优化
结题年份:
2022
批准年份:
2018
项目状态:
已结题
项目参与者:
陈伟杰、李春娜、卢媛、吴爽、郭艳茹、黄凌伟、张军、王晨、杨凯丽
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
如何克服噪声影响是数据挖掘中的经典问题。随着当前数据量越来越大,噪声的数量和种类也越来越多,噪声对模型的影响越来越甚,这一问题也越来越突出。传统的支持向量机使用铰链损失函数,会放大噪声的影响。在支持向量机的研究中,如何降低噪声的影响已经成为热点问题。因此,本项目拟引进不同的非凸损失函数处理噪声数据,其中特别注重利用非凸优化技术提取噪声数据中本质的有价值信息。具体研究内容包括:1、对于噪声数据的分类问题,引进新的非光滑有界非凸损失函数,从而提出适应于不同噪声的Ramp-类型损失函数支持向量机模型;2、对于噪声数据的回归问题和半监督问题,构造光滑非凸损失函数支持向量机模型;3、利用稀疏Lp-模非凸损失函数支持向量机研究噪声数据的特征选择问题;4、研究处理噪声数据非凸损失函数支持向量机模型的快速求解算法。目前对噪声数据的研究,不仅是热点,也是难点。因此,从理论和实践方面来说本项目都具有创新意义。
英文摘要
It is a classic problem to overcome the influence of noise in data mining. With the increasing amount of data, there are more and more numbers and types of noise. The impact of noise on the model has become increasingly severe, and this problem has become more and more prominent. The traditional support vector machine (SVM) using the hinge loss function, which will amplify the effect of noise on the model. How to reduce the impact of noise on SVM is a hot issue. Therefore, this project intends to introduce different non-convex loss functions to deal with noise data, with particular emphasis on the use of non-convex optimization techniques to extract valuable information inherent in noise data. The specific research contents include: 1. For classification problems with noise data, introduce new non-smooth non-convex bounded loss functions, such as Ramp-loss type functions in support vector machine model so as to adapt to different noises; 2. For regression and semi-supervised problems with noise data, construct the smooth non-convex loss function support vector machine models; 3. For the feature selection problem of noise data study the sparse Lp-norm non-convex loss function support vector machines; 4. Study the fast algorithms for non-convex loss function support vector machine with noise data. At present, the study of the noise data is a hot and difficult issue. Therefore, the project is of innovative significance in both theory and practice.
噪声数据的机器学习始终是机器学习的重点和难点。使用非凸损失函数抑制噪声的影响是最为有效的手段之一。然而非凸损失对应的非凸优化问题却很难有效求解。本项目对非凸损失对应的非凸支持向量机进行了优化理论和算法的研究。依托变分性质和统计学习理论,本项目研究了Ramp-损失、C-损失、ψ-损失、 Lp-模损失和0-1损失支持向量机在分类问题,特征选择问题,回归问题,聚类问题和半监督问题中的模型预算法,建立了0-1损失和Ramp损失等一系列非凸损失支持向量机优化原模型的最优性理论;设计了相应模型的ADMM算法,CCCP算法,DC分解算法,MM截断算法和光滑化一阶优化算法,并设计相应的工作集算法、使之具有快速有效性;针对0-1损失支持向量机、Ramp损失支持向量机、非凸损失非平行超平面支持向量机,对设计的算法在实际问题进行了数值实验,选取优秀的算法并开发了性能优异的求解器。.经过4年的研究,共发表了27篇与项目相关的研究学术论文。参加或参与组织国际国内学术会议14次,并做报告宣传项目研究成果。培养相关毕业研究生6名。其中,作为本项目的重要结果,L0/1损失、Ramp损失及截断的非凸损失支持向量机优化原模型的最优性理论的建立对支持向量机的推动具有重要意义。特别是L0/1损失支持向量机是最理想的软间隔支持向量机,在近几十年中,由于L0/1损失非凸非连续,人们研究的焦点是做非凸近似和凸近似的L0/1损失的研究,0-1损失支持向量机的最优性条件和直接求解基础始终未建立起来,而本项目对0-1损失以及相应截断损失的非凸支持向量机的原始问题的最优性理论的建立为求解这类问题提供了理论依据。.总之,本项目的完成不仅为非凸损失的支持向量机提供新模型和新算法,而且为学科交叉与融合提供了实践经验,对于人才培养以及支持向量机相关领域的深度合作与交流起到了积极推动作用。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Volatility forecasting using deep neural network with time-series feature embedding
使用具有时间序列特征嵌入的深度神经网络进行波动率预测
DOI:10.1080/1331677x.2022.2089192
发表时间:2022-06
期刊:Ekonomska Istrazivanja-economic Research
影响因子:--
作者:Wei-Jie Chen;Jing-Jing Yao;Yuan-Hai Shao
通讯作者:Yuan-Hai Shao
DOI:10.3390/info12120515
发表时间:2021-12
期刊:INFORMATION
影响因子:3.1
作者:Du Shu-Wang;Zhang Ming-Chuan;Chen Pei;Sun Hui-Feng;Chen Wei-Jie;Shao Yuan-Hai
通讯作者:Shao Yuan-Hai
Indicator Selection of Index Construction by Adaptive Lasso with a Generic epsilon-Insensitive Loss
具有通用 epsilon 不敏感损失的自适应 Lasso 索引构建的指标选择
DOI:10.1007/s10614-021-10175-w
发表时间:2021
期刊:Computational Economics
影响因子:2
作者:Ye Yafen;Chi Renyong;Shao Yuan-Hai;Li Chun-Na;Hua Xiangyu
通讯作者:Hua Xiangyu
Support Vector Machine Classifier via L0/1 Soft-Margin Loss
通过 $L_{0/1}$ 软边际损失的支持向量机分类器
DOI:10.1109/tpami.2021.3092177
发表时间:2022-10-01
期刊:IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE
影响因子:23.6
作者:Wang, Huajun;Shao, Yuanhai;Xiu, Naihua
通讯作者:Xiu, Naihua
Learning using rebalanced statistical invariants for imbalanced classification
使用重新平衡的统计不变量进行不平衡分类的学习
DOI:10.1016/j.procs.2022.11.167
发表时间:2022
期刊:Procedia Computer Science
影响因子:--
作者:Zhen-Qi Liu;Yuan-Hai Shao
通讯作者:Yuan-Hai Shao
完全统计学习的小数据支持向量机
- 批准号:12271131
- 项目类别:面上项目
- 资助金额:46万元
- 批准年份:2022
- 负责人:邵元海
- 依托单位:
SVM不定核学习的低秩优化算法
- 批准号:11926349
- 项目类别:数学天元基金项目
- 资助金额:10.0万元
- 批准年份:2019
- 负责人:邵元海
- 依托单位:
大规模数据挖掘中嵌入式数据归约的稀疏模型与算法研究
- 批准号:61866010
- 项目类别:地区科学基金项目
- 资助金额:40.0万元
- 批准年份:2018
- 负责人:邵元海
- 依托单位:
国内基金
海外基金
