Bagging-like metric learning for support vector regression
Bagging-like metric learning for support vector regression
复制标题
支持向量回归的类套袋度量学习
DOI：
10.1016/j.knosys.2014.04.002
复制
发表时间：
2014-07
影响因子：
8.8
通讯作者：
陈海燕
中科院分区：
文献类型：
--
作者：
邹朋成;王建东;陈松灿;陈海燕
度量在机器学习和模式识别中发挥着重要作用。尽管可以选择许多可用的现成指标来实现手头的一些学习任务，例如 k 最近邻分类和 k 均值聚类，但由于其独立于数据本身，这种选择不一定总是合适的。事实证明，从给定数据中学习的任务相关度量可以产生更有益的学习性能。受这种成功的启发，我们专注于学习专门用于支持向量回归的嵌入式度量，并提出了一种称为 SVRML 的相应学习算法，它既最小化了验证数据集上的误差，又同时增强了学习度量矩阵的稀疏性。进一步以学习到的度量（正半定矩阵）作为基学习器，我们开发了一种类似bagging的有效集成度量学习框架，其中原始bagging的重采样机制针对SVRML进行了专门修改。对各种数据集的实验表明，我们的方法优于支持向量回归的单一和基于 bagging 的集成度量学习。
Metric plays an important role in machine learning and pattern recognition. Though many available off-the-shelf metrics can be selected to achieve some learning tasks at hand such as for k-nearest neighbor classification and k-means clustering, such a selection is not necessarily always appropriate due to its independence on data itself. It has been proved that a task-dependent metric learned from the given data can yield more beneficial learning performance. Inspired by such success, we focus on learning an embedded metric specially for support vector regression and present a corresponding learning algorithm termed as SVRML, which both minimizes the error on the validation dataset and simultaneously enforces the sparsity on the learned metric matrix. Further taking the learned metric (positive semi-definite matrix) as a base learner, we develop a bagging-like effective ensemble metric learning framework in which the resampling mechanism of original bagging is specially modified for SVRML. Experiments on various datasets demonstrate that our method outperforms the single and bagging-based ensemble metric learnings for support vector regression.
登录
查看更多内容
DOI：
--
发表时间：
1936
期刊：
--
影响因子：
--
作者：
P. Mahalanobis
通讯作者：
P. Mahalanobis
影响因子：
10.6
作者：
X. Chen;Jiashu Zhang;Defang Li
通讯作者：
X. Chen;Jiashu Zhang;Defang Li
DOI：
--
发表时间：
2010-12
期刊：
--
影响因子：
--
作者：
Shibin Parameswaran;Kilian Q. Weinberger
通讯作者：
Shibin Parameswaran;Kilian Q. Weinberger
DOI：
10.1017/cbo9780511801389.013
发表时间：
2000-03
期刊：
--
影响因子：
--
作者：
N. Cristianini;J. Shawe-Taylor
通讯作者：
N. Cristianini;J. Shawe-Taylor
DOI：
--
发表时间：
2010-12
期刊：
--
影响因子：
--
作者：
Yu Zhang;D. Yeung
通讯作者：
Yu Zhang;D. Yeung