A Novel Margin Based Algorithm for Feature Extraction
A Novel Margin Based Algorithm for Feature Extraction
复制标题
一种新颖的基于边缘的特征提取算法
DOI：
10.1007/s00354-009-0066-z
复制
发表时间：
2009-11
影响因子：
2.6
通讯作者：
Wang, Liwei
中科院分区：
文献类型：
--
作者：
Feng, Jufu;Yang, Cheng;Wang, Liwei
基于间隔的特征提取已成为机器学习和模式识别领域的研究热点。在本文中，我们提出了一种新的特征提取方法，称为自适应间距最大化（AMM），其中的边缘定义来衡量的歧视能力的功能。其动机主要来自于强大的boosting算法的迭代权重修改机制。在我们的AMM中，样本是动态加权的，特征是按顺序学习的。在通过最大化数据的加权总边缘来学习一个新特征之后，权重被更新，使得具有较小边缘的样本接收更大的权重。因此，在下一轮学习的特征将尝试自适应地更多地集中在这些“硬”样本上。我们表明，当数据被投影到AMM学习的特征空间时，大多数例子都有很大的余量，因此最近邻分类器产生很小的泛化误差。这与现有的基于边缘最大化的特征提取方法形成对比，在现有的基于边缘最大化的特征提取方法中，目标是最大化总边缘。在基准数据集上的大量实验结果证明了该方法的有效性。
Margin based feature extraction has become a hot topic in machine learning and pattern recognition. In this paper, we present a novel feature extraction method called Adaptive Margin Maximization (AMM) in which margin is defined to measure the discrimination ability of the features. The motivation comes principally from the iterative weight modification mechanism of the powerful boosting algorithms. In our AMM, the samples are dynamically weighted and features are learned sequentially. After one new feature is learned by maximizing the weighted total margin of data, the weights are updated so that the samples with smaller margins receive larger weights. The feature learned in the next round will thus try to concentrate more on these “hard” samples adaptively. We show that when the data are projected onto the feature space learned by AMM, most examples have large margins, and therefore the nearest neighbor classifier yields small generalization error. This is in contrast to existing margin maximization based feature extraction approaches, in which the goal is to maximize the total margin. Extensive experimental results on benchmark datasets demonstrate the effectiveness of our method.
登录
查看更多内容
DOI：
10.1109/tsmcb.2007.913604
发表时间：
2008-04
期刊：
IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)
影响因子：
--
作者：
Cheng Yang;Liwei Wang;Jufu Feng
通讯作者：
Cheng Yang;Liwei Wang;Jufu Feng
影响因子：
3.7
作者：
M. Timmerman
通讯作者：
M. Timmerman
影响因子：
3.2
作者：
Abdi, Herve;Williams, Lynne J.
通讯作者：
Williams, Lynne J.
DOI：
10.1016/c2009-0-27872-x
发表时间：
1972
期刊：
影响因子：
--
作者：
H. Shimodaira;Iain Murray
通讯作者：
Iain Murray
DOI：
10.1002/0470854774.ch1
发表时间：
2006
期刊：
--
影响因子：
--
作者：
P. Pudil;P. Somol;M. Haindl
通讯作者：
P. Pudil;P. Somol;M. Haindl