Standard errors and confidence intervals for variable importance in random forest regression, classification, and survival.
Standard errors and confidence intervals for variable importance in random forest regression, classification, and survival.
复制标题
DOI：
10.1002/sim.7803
复制
发表时间：
2019-02-20
影响因子：
2
通讯作者：
Lu M
中科院分区：
文献类型：
--
作者：
Ishwaran H;Lu M
随机森林是一种流行的非参数树集成方法，广泛应用于数据分析。虽然RF的广泛流行源于其预测性能，但同样重要的特征是它提供了一个完全非参数的变量重要性度量（VIMP）。然而，VIMP目前的局限性是没有系统的方法来估计其方差。作为一种解决方案，我们提出了一个子采样方法，可以用来估计方差的VIMP和构造置信区间。该方法足够通用，可以应用于许多有用的设置，包括回归，分类和生存问题。使用广泛的模拟，我们证明了二次抽样估计的有效性，特别是发现删除d刀切方差估计，一个密切的表弟，是特别有效的低二次抽样率下，由于其偏差校正属性。这两个估计是非常有竞争力的.164自举估计相比，一个修改的自举过程，旨在处理在样本外数据的关系。最重要的是，子采样的计算速度很快，因此对于大数据设置特别有吸引力。
Random forests is a popular nonparametric tree ensemble procedure with broad applications to data analysis. While RF’s widespread popularity stems from its prediction performance, an equally important feature is that it provides a fully nonparametric measure of variable importance (VIMP). A current limitation of VIMP however is that no systematic method exists for estimating its variance. As a solution, we propose a subsampling approach that can be used to estimate the variance of VIMP and for constructing confidence intervals. The method is general enough that it can be applied to many useful settings, including regression, classification, and survival problems. Using extensive simulations we demonstrate the effectiveness of the subsampling estimator and in particular find that the delete-d jackknife variance estimator, a close cousin, is especially effective under low subsampling rates due to its bias correction properties. These two estimators are highly competitive when compared to the .164 bootstrap estimator, a modified bootstrap procedure designed to deal with ties in out-of-sample data. Most importantly, subsampling is computationally fast, thus making it especially attractive for big data settings.
登录
查看更多内容
影响因子：
2.2
作者：
Gregorutti, Baptiste;Michel, Bertrand;Saint-Pierre, Philippe
通讯作者：
Saint-Pierre, Philippe
影响因子：
3.7
作者：
HOEFFDING, W
通讯作者：
HOEFFDING, W
DOI：
10.1198/106186006x133933
发表时间：
2006-09-01
影响因子：
2.4
作者：
Hothorn, Torsten;Hornik, Kurt;Zeileis, Achim
通讯作者：
Zeileis, Achim
影响因子：
1.8
作者：
Archer, Kelfie J.;Kirnes, Ryan V.
通讯作者：
Kirnes, Ryan V.
影响因子：
5.1
作者：
Genuer, Robin;Poggi, Jean-Michel;Tuleau-Malot, Christine
通讯作者：
Tuleau-Malot, Christine