Fast and Exact Leave-One-Out Analysis of Large-Margin Classifiers
Fast and Exact Leave-One-Out Analysis of Large-Margin Classifiers
复制标题
大余量分类器的快速准确留一分析
DOI：
10.1080/00401706.2021.1967199
复制
发表时间：
2022
期刊：
影响因子：
2.5
通讯作者：
Zou, Hui
中科院分区：
文献类型：
--
作者：
Wang, Boxiang;Zou, Hui
受Golub-Heath-Wahba岭回归公式的启发，我们首先提出了一个新的留一引理的核支持向量机（SVM）和相关的大间隔分类器。然后，我们使用引理设计一种新颖而有效的算法，名为“magicsvm”，用于训练核SVM和相关的大间隔分类器，并计算精确的留一交叉验证误差。通过“magicsvm”，留一法分析的计算成本与在训练数据上拟合单个SVM的计算成本是相同的数量级。我们表明，“magicsvm”是远远快于国家的最先进的SVM求解器的基础上广泛的模拟和基准测试的例子。同样的思想也被用来提高核分类器的V折交叉验证的计算速度。
Motivated by the Golub–Heath–Wahba formula for ridge regression, we first present a new leave-one-out lemma for the kernel support vector machines (SVM) and related large-margin classifiers. We then use the lemma to design a novel and efficient algorithm, named “magicsvm,” for training the kernel SVM and related large-margin classifiers and computing the exact leave-one-out cross-validation error. By “magicsvm,” the computational cost of leave-one-out analysis is of the same order of fitting a single SVM on the training data. We show that “magicsvm” is much faster than the state-of-the-art SVM solvers based on extensive simulations and benchmark examples. The same idea is also used to boost the computation speed of theV-fold cross-validation of the kernel classifiers.
登录
查看更多内容
用于谱密度估计的周期样条：使用交叉验证来确定平滑程度
影响因子：
0.8
作者：
G. Wahba;S. Wold
通讯作者：
S. Wold
影响因子：
2.1
作者：
Beck, Amir;Teboulle, Marc
通讯作者：
Teboulle, Marc
DOI：
10.1080/01621459.2018.1424632
发表时间：
2020-01-02
影响因子：
3.7
作者：
Rosset, Saharon;Tibshirani, Ryan J.
通讯作者：
Tibshirani, Ryan J.
影响因子：
4.5
作者：
Barber, Rina Foygel;Candes, Emmanuel J.;Tibshirani, Ryan J.
通讯作者：
Tibshirani, Ryan J.