MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling.
MP-Boost: Minipatch Boosting via Adaptive Feature and Observation Sampling.
复制标题
DOI：
10.1109/bigcomp51126.2021.00023
复制
发表时间：
2021-01
期刊：
影响因子：
--
通讯作者：
Allen GI
中科院分区：
文献类型：
--
作者：
Toghani MT;Allen GI
提升方法是最好的通用和现成的机器学习方法之一，得到了广泛的普及。在本文中，我们寻求开发一种提升方法，该方法可以产生与流行的AdaBoost和梯度提升方法相当的精度，但计算速度更快，其解决方案更具可解释性。我们通过开发MP-Boost来实现这一点，MP-Boost是一种松散基于AdaBoost的算法，它通过在每次迭代中自适应地选择实例和特征的小子集来学习，或者我们称之为迷你补丁（MP）。通过对数据的微小子集进行顺序学习，我们的方法在计算上比其他经典的boosting算法更快。此外，随着它的进展，MP-Boost自适应地学习特征和实例的概率分布，增加最重要的特征和具有挑战性的实例的权重，从而自适应地选择最相关的小块进行学习。这些学习的概率分布也有助于解释我们的方法。我们经验证明的可解释性，比较准确性，和计算时间，我们的方法对各种二进制分类任务。
Boosting methods are among the best general-purpose and off-the-shelf machine learning approaches, gaining widespread popularity. In this paper, we seek to develop a boosting method that yields comparable accuracy to popular AdaBoost and gradient boosting methods, yet is faster computationally and whose solution is more interpretable. We achieve this by developing MP-Boost, an algorithm loosely based on AdaBoost that learns by adaptively selecting small subsets of instances and features, or what we term minipatches (MP), at each iteration. By sequentially learning on tiny subsets of the data, our approach is computationally faster than other classic boosting algorithms. Also as it progresses, MP-Boost adaptively learns a probability distribution on the features and instances that upweight the most important features and challenging instances, hence adaptively selecting the most relevant minipatches for learning. These learned probability distributions also aid in interpretation of our method. We empirically demonstrate the interpretability, comparative accuracy, and computational time of our approach on a variety of binary classification tasks.
登录
查看更多内容
影响因子：
7.5
作者：
CORTES, C;VAPNIK, V
通讯作者：
VAPNIK, V
影响因子：
1.8
作者：
Friedman, JH
通讯作者：
Friedman, JH
影响因子：
4.5
作者：
Friedman, J;Hastie, T;Tibshirani, R
通讯作者：
Tibshirani, R
影响因子：
4.5
作者：
Friedman, JH
通讯作者：
Friedman, JH
影响因子：
1.1
作者：
Freund, Y;Schapire, RE
通讯作者：
Schapire, RE