Large Scale Prediction with Decision Trees
Large Scale Prediction with Decision Trees
复制标题
使用决策树进行大规模预测
DOI：
10.1080/01621459.2022.2126782
复制
发表时间：
2023
影响因子：
3.7
通讯作者：
Tian, Peter M.
中科院分区：
文献类型：
--
作者：
Klusowski, Jason M.;Tian, Peter M.
本文表明，使用分类和回归树（CART）和C4.5方法构建的决策树对于回归和分类任务是一致的，即使预测变量的数量随着样本大小呈次指数增长，在自然0范数和1范数稀疏约束下。该理论适用于广泛的模型，包括（普通或逻辑）加性回归模型，其分量函数是连续的，有界变差的，或者更一般地，Borel可测的。一致性适用于预测变量的任意联合分布，从而适应连续、离散和/或相关数据。最后，我们表明，这些定性属性的个别树木继承Breiman的随机森林。在分析的关键步骤是建立一个预言不等式，它允许一个精确的特征的拟合优度和复杂性权衡一个错误指定的模型。本文的补充材料可在网上查阅。
This article shows that decision trees constructed with Classification and Regression Trees (CART) and C4.5 methodology are consistent for regression and classification tasks, even when the number of predictor variables grows sub-exponentially with the sample size, under natural 0-norm and 1-norm sparsity constraints. The theory applies to a wide range of models, including (ordinary or logistic) additive regression models with component functions that are continuous, of bounded variation, or, more generally, Borel measurable. Consistency holds for arbitrary joint distributions of the predictor variables, thereby accommodating continuous, discrete, and/or dependent data. Finally, we show that these qualitative properties of individual trees are inherited by Breiman’s random forests. A key step in the analysis is the establishment of an oracle inequality, which allows for a precise characterization of the goodness of fit and complexity tradeoff for a mis-specified model. Supplementary materials for this article are available online.
登录
查看更多内容
DOI：
--
发表时间：
2019-11
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
L. Mentch;Siyu Zhou
通讯作者：
L. Mentch;Siyu Zhou
影响因子：
4.5
作者：
Buhlmann, Peter
通讯作者：
Buhlmann, Peter
DOI：
10.1214/19-aos1886
发表时间：
2018-03
期刊：
The Annals of Statistics
影响因子：
--
作者：
Jaouad Mourtada;St'ephane Gaiffas;Erwan Scornet
通讯作者：
Jaouad Mourtada;St'ephane Gaiffas;Erwan Scornet
DOI：
--
发表时间：
2008-11
期刊：
arXiv: Machine Learning
影响因子：
--
作者：
R. Genuer;Jean-Michel Poggi;Christine Tuleau
通讯作者：
R. Genuer;Jean-Michel Poggi;Christine Tuleau
DOI：
--
发表时间：
2015-03
期刊：
arXiv: Statistics Theory
影响因子：
--
作者：
Stefan Wager;G. Walther
通讯作者：
Stefan Wager;G. Walther