An efficient online active learning algorithm for binary classification
An efficient online active learning algorithm for binary classification
复制标题
一种高效的二元分类在线主动学习算法
DOI：
10.1016/j.patrec.2015.08.010
复制
发表时间：
2015-12
影响因子：
5.1
通讯作者：
Zheng Qinghua
中科院分区：
文献类型：
--
作者：
Liu Dehua;Zhang Peng;Zheng Qinghua
主动学习是机器学习中的一类重要内容，在机器学习中，标签在必要时被查询。当获得新的标记数据时，大多数主动学习算法需要迭代地重新训练分类器。这种批处理学习过程在时间和内存上都会产生很高的开销。本文提出了一种新的二值分类在线主动学习算法。我们的算法使用了基于边缘的准则，将实例的边缘与阈值进行比较来决定是否应该查询它。特别是，我们提出了一种新的基于边界的阈值更新方法--迭代降低阈值(IDT)。通过使用IDT迭代降低阈值，我们的算法可以有效地减少查询实例的数量。此外，由于评估基于差值的标准只涉及简单的内积，因此我们的算法评估起来也非常高效。我们在六个数据集上与其他最先进的在线主动学习算法进行了比较，结果表明，该算法只需要较少的查询就能达到相同的分类精度，同时产生的计算开销也较小。
Active learning is an important class of machine learning where labels are queried when necessary. Most active learning algorithms need to iteratively retrain the classifier when new labeled data are obtained. Such a batch learning process can incur a high overhead in both time and memory. In this paper, we propose a new online active learning algorithm for binary classification. Our algorithm uses the margin-based criterion, which compares the margin of instances with a threshold to decide whether it should be queried. Especially, we propose Iteratively Decreased Threshold (IDT), a new threshold update method for the margin-based criterion. By iteratively decreasing the threshold with IDT, our algorithm can effectively reduce the number of queried instances. In addition, as evaluating the margin-based criterion involves only simple inner productions, our algorithm is also very efficient to evaluate. We compare our algorithm with other state-of-the-art online active learning algorithms on six data sets, demonstrating that it requires less queries to achieve the same classification accuracy, and incurs a smaller computation overhead at the same time.
登录
查看更多内容
DOI：
10.1145/1143844.1143853
发表时间：
2006-06
期刊：
Proceedings of the 23rd international conference on Machine learning
影响因子：
--
作者：
Maria-Florina Balcan;A. Beygelzimer;J. Langford
通讯作者：
Maria-Florina Balcan;A. Beygelzimer;J. Langford
DOI：
10.1145/1553374.1553390
发表时间：
2009-06
期刊：
--
影响因子：
--
作者：
N. Cesa-Bianchi;C. Gentile;Francesco Orabona
通讯作者：
N. Cesa-Bianchi;C. Gentile;Francesco Orabona
DOI：
10.1109/tpami.2007.70811
发表时间：
2008-09-01
影响因子：
23.6
作者：
Ho, Shen-Shyang;Wechsler, Harry
通讯作者：
Wechsler, Harry
DOI：
10.1145/2020408.2020444
发表时间：
2011-08
期刊：
--
影响因子：
--
作者：
Wei Chu;Martin A. Zinkevich;Lihong Li;A. Thomas;Belle L. Tseng
通讯作者：
Wei Chu;Martin A. Zinkevich;Lihong Li;A. Thomas;Belle L. Tseng
DOI：
10.1007/978-1-4419-1428-6_489
发表时间：
2012-07
期刊：
--
影响因子：
--
作者：
Burr Settles
通讯作者：
Burr Settles