Trees, forests, chickens, and eggs: when and why to prune trees in a random forest
Trees, forests, chickens, and eggs: when and why to prune trees in a random forest
复制标题
树、森林、鸡和蛋：何时以及为何在随机森林中修剪树木
DOI：
10.1002/sam.11594
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Mentch, Lucas
中科院分区：
文献类型：
--
作者：
Zhou, Siyu;Mentch, Lucas
由于其作为优秀的现成预测器的长期声誉，随机森林（RF）仍然是应用统计学家和数据科学家的首选模型。然而，尽管它们被广泛使用，直到最近，人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近，出现了两个相互竞争的假设-一个基于插值，另一个基于正则化。这项工作支持后者，利用正则化框架重新审视了几十年前的问题，即是否应该修剪系综中的个体树。尽管在大多数流行的软件包中，RF的默认构造使用接近全深度的树，但在这里，我们提供了强有力的证据，证明树深度应该被视为整个过程中正则化的自然形式。特别是，我们的工作表明，当数据中的信噪比较低时，具有浅树的RF是有利的。在建立这一论点的过程中，我们还批评了RF中新流行的“双重下降”概念，通过与U统计进行比较，并认为随机森林准确性的明显跳跃是简单平均而不是插值的结果。
Due to their long‐standing reputation as excellent off‐the‐shelf predictors, random forests (RFs) continue to remain a go‐to model of choice for applied statisticians and data scientists. Despite their widespread use, however, until recently, little was known about their inner workings and about which aspects of the procedure were driving their success. Very recently, two competing hypotheses have emerged–one based on interpolation and the other based on regularization. This work argues in favor of the latter by utilizing the regularization framework to reexamine the decades‐old question of whether individual trees in an ensemble ought to be pruned. Despite the fact that default constructions of RFs use near full depth trees in most popular software packages, here we provide strong evidence that tree depth should be seen as a natural form of regularization across the entire procedure. In particular, our work suggests that RFs with shallow trees are advantageous when the signal‐to‐noise ratio in the data is low. In building up this argument, we also critique the newly popular notion of “double descent” in RFs by drawing parallels toU‐statistics and arguing that the noticeable jumps in random forest accuracy are the result of simple averaging rather than interpolation.
登录
查看更多内容
DOI：
--
发表时间：
2019-11
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
L. Mentch;Siyu Zhou
通讯作者：
L. Mentch;Siyu Zhou
影响因子：
5.7
作者：
Hastie, Trevor;Tibshirani, Robert;Tibshirani, Ryan
通讯作者：
Tibshirani, Ryan
使用社交媒体中基于众包的特征和传统特征来预测电影的受欢迎程度
DOI：
--
发表时间：
2015
期刊：
International Conference on Smart Cities
影响因子：
--
作者：
Mehreen Ahmed;Maham Jahangir;H. Afzal;A. Majeed;Imran Siddiqi
通讯作者：
Imran Siddiqi
用于结构活性分析的回归模型的相互关系。
影响因子：
7.3
作者：
A. Cammarata
通讯作者：
A. Cammarata
影响因子：
3
作者：
Song Mei;A. Montanari
通讯作者：
Song Mei;A. Montanari