Margin distribution based bagging pruning
Margin distribution based bagging pruning
复制标题
基于边际分布的装袋剪枝
DOI：
10.1016/j.neucom.2011.12.030
复制
发表时间：
2012-05
期刊：
影响因子：
6
通讯作者：
Zhu, Pengfei
中科院分区：
文献类型：
--
作者：
Xie, Zongxia;Xu, Yong;Hu, Qinghua;Zhu, Pengfei
Bagging是一种简单而有效的生成分类器集合的技术。发现Bagging算法中存在大量的冗余基分类器。为了提高Bagging的泛化能力，我们设计了一种剪枝方法。该方法引入了基于分类损失的间隔分布作为优化目标，并使训练样本的损失最小化，从而得到最优的间隔分布。同时，为了得到稀疏的系综，引入l1正则化来控制系综的大小.通过这种方法，我们可以得到一个稀疏的基分类器的权重向量。然后，我们排名的基础分类器的权重和联合收割机的基础分类器与大的权重。我们称这种技术为MAargin分布基袋修剪（MAD-Bagging）。采用简单投票和加权投票的方法对所选基分类器的输出进行联合收割机组合。这个修剪集成的性能进行了评估与几个UCI基准任务，其中基分类器的训练与SVM，CART，和最近邻（1 NN）规则，分别。实验结果表明，基于间隔分布的CART剪枝Bagging方法能显著提高分类精度。然而，SVM和1 NN修剪Bagging相比，单一的分类器提高不大。
Bagging is a simple and effective technique for generating an ensemble of classifiers. It is found there are a lot of redundant base classifiers in the original Bagging. We design a pruning approach to bagging for improving its generalization power. The proposed technique introduces the margin distribution based classification loss as the optimization objective and minimizes the loss on training samples, which leads to an optimal margin distribution. Meanwhile, in order to derive a sparse ensemble, l1regularization is introduced to control the size of ensembles. By this way, we can obtain a sparse weight vector of base classifiers. Then we rank the base classifiers with respect to their weights and combine the base classifiers with large weights. We call this technique MArgin Distribution base Bagging pruning (MAD-Bagging). Simple voting and weighted voting are tried to combine the outputs of selected base classifiers. The performance of this pruned ensemble is evaluated with several UCI benchmark tasks, where base classifiers are trained with SVM, CART, and the nearest neighbor (1NN) rule, respectively. The results show that margin distribution based CART pruned Bagging can significantly improve classification accuracies. However, SVM and 1NN pruned Bagging improve little compared with single classifiers.
登录
查看更多内容
DOI：
--
发表时间：
2002-07
期刊：
--
影响因子：
--
作者：
A. Garg;Sariel Har-Peled;D. Roth
通讯作者：
A. Garg;Sariel Har-Peled;D. Roth
DOI：
--
发表时间：
1996
期刊：
--
影响因子：
--
作者：
R. Tibshirani
通讯作者：
R. Tibshirani
影响因子：
2.5
作者：
G. Piepel
通讯作者：
G. Piepel
DOI：
10.1109/jstsp.2007.910971
发表时间：
2007-12-01
影响因子：
7.5
作者：
Kim, Seung-Jean;Koh, K.;Gorinevsky, Dimitry
通讯作者：
Gorinevsky, Dimitry
影响因子：
6
作者：
R. Hecht-Nielsen
通讯作者：
R. Hecht-Nielsen