Nonparallel support vector regression model and its SMO-type solver
Nonparallel support vector regression model and its SMO-type solver
复制标题
非并行支持向量回归模型及其SMO型求解器
DOI：
10.1016/j.neunet.2018.06.004
复制
发表时间：
2018-09
期刊：
影响因子：
7.8
通讯作者：
Chunyan Yang
中科院分区：
文献类型：
--
作者：
Long Tang;Yingjie Tian;Chunyan Yang
虽然双支持向量回归（TSVR）方法得到了广泛的研究，并成功地开发了各种变体，但其结构风险最小化（SRM）原则和模型的稀疏性没有得到充分的考虑。本文借鉴非并行支持向量机（NPSVM）的思想，提出了一种新的非并行支持向量回归机（NPSVR），它在以下几个方面优于现有的双支持向量回归机（TSVR）方法：（1）严格遵循SRM原理，对每个原问题增加一个正则项，使得核技巧可以直接应用于非线性情况下的对偶问题，而不需要考虑额外的核生成曲面;（2）采用ε-不敏感损失函数保持标准支持向量回归机（SVR）固有的稀疏性;（3）该对偶问题与标准SVR问题具有相同的形式，从而避免了计算逆矩阵，并专门设计了一种序列最小化优化（SMO）型求解器来加速大规模数据集的训练;（4）适当选取相应的参数，原问题可以近似退化为已有的TSVRs问题。不同数据集上的数值实验验证了我们提出的NPSVR在稀疏性、泛化能力和可扩展性方面的有效性。
Although the twin support vector regression (TSVR) method has been widely studied and various variants are successfully developed, the structural risk minimization (SRM) principle and model’s sparseness are not given sufficient consideration. In this paper, a novel nonparallel support vector regression (NPSVR) is proposed in spirit of nonparallel support vector machine (NPSVM), which outperforms existing twin support vector regression (TSVR) methods in the following terms:(1) For each primal problem, a regularized term is added by rigidly following the SRM principle so that the kernel trick can be applied directly to the dual problems for the nonlinear case without considering an extra kernel-generated surface;(2) An ε-insensitive loss function is adopted to remain inherent sparseness as the standard support vector regression (SVR);(3) The dual problems have the same formulation with that of the standard SVR, so computing inverse matrix is well avoided and a sequential minimization optimization (SMO)-type solver is exclusively designed to accelerate the training for large-scale datasets;(4) The primal problems can approximately degenerate to those of the existing TSVRs if corresponding parameters are appropriately chosen. Numerical experiments on diverse datasets have verified the effectiveness of our proposed NPSVR in sparseness, generalization ability and scalability.
登录
查看更多内容
MLTSVM：一种新颖的多标签学习双支持向量机
影响因子：
8
作者：
Chen, Wei-Jie;Shao, Yuan -Hai;Deng, Nai-Yang
通讯作者：
Deng, Nai-Yang
DOI：
10.1007/978-3-642-15822-3_4
发表时间：
2010-09
期刊：
--
影响因子：
--
作者：
Á. Jiménez;José R. Dorronsoro
通讯作者：
Á. Jiménez;José R. Dorronsoro
DOI：
10.1007/s13042-015-0361-6
发表时间：
2015-05
影响因子：
5.6
作者：
M. Tanveer;K. Shubham
通讯作者：
M. Tanveer;K. Shubham
DOI：
10.1016/j.jag.2014.07.002
发表时间：
2015-02
期刊：
Int. J. Appl. Earth Obs. Geoinformation
影响因子：
--
作者：
B. Zheng;S. Myint;P. Thenkabail;R. Aggarwal
通讯作者：
B. Zheng;S. Myint;P. Thenkabail;R. Aggarwal
影响因子：
6
作者：
Sachindra Joshi;Jayadeva;Ganesh Ramakrishnan;S. Chandra
通讯作者：
Sachindra Joshi;Jayadeva;Ganesh Ramakrishnan;S. Chandra