Gibbs Priors for Bayesian Nonparametric Variable Selection with Weak Learners
Gibbs Priors for Bayesian Nonparametric Variable Selection with Weak Learners
复制标题
弱学习者贝叶斯非参数变量选择的吉布斯先验
DOI：
10.1080/10618600.2022.2142594
复制
发表时间：
2023
影响因子：
2.4
通讯作者：
Du, Junliang
中科院分区：
文献类型：
--
作者：
Linero, Antonio R.;Du, Junliang
我们考虑的问题，高维贝叶斯非参数变量选择使用所谓的“弱学习者”的聚合。最流行的变体是贝叶斯加性回归树（BART）模型，这是提升决策树的自然贝叶斯模拟。在这篇文章中，我们使用吉布斯分布的随机分区，以诱导稀疏的弱学习者的合奏。将BART视为特殊情况，我们表明吉布斯先验类包括两个最近提出的模型--狄利克雷加性回归树（DART）模型和尖峰森林模型--作为极端情况，并且我们表明某些吉布斯先验能够实现DART和尖峰森林模型的优点，同时避免它们的一些主要缺点。然后，我们展示了吉布斯先验的其他类别的弱学习者，如张量产品的样条基函数的有前途的性能。一个Pólya瓮计划开发的高效计算。本文的补充材料可在网上查阅。
We consider the problem of high-dimensional Bayesian nonparametric variable selection using an aggregation of so-called “weak learners.” The most popular variant of this is the Bayesian additive regression trees (BART) model, which is the natural Bayesian analog to boosting decision trees. In this article, we use Gibbs distributions on random partitions to induce sparsity in ensembles of weak learners. Looking at BART as a special case, we show that the class of Gibbs priors includes two recently proposed models—the Dirichlet additive regression trees (DART) model and the spike-and-forest model—as extremal cases, and we show that certain Gibbs priors are capable of achieving the benefits of both the DART and spike-and-forest models while avoiding some of their key drawbacks. We then show the promising performance of Gibbs priors for other classes of weak learners, such as tensor products of spline basis functions. A Pólya Urn scheme is developed for efficient computations. Supplementary materials for this article are available online.
登录
查看更多内容
贝叶斯决策树集成的变量选择
DOI：
--
发表时间：
2021
期刊：
Handbook of Bayesian Variable Selection
影响因子：
--
作者：
A. Linero;Junliang Du
通讯作者：
Junliang Du
DOI：
10.1080/10618600.2019.1677243
发表时间：
2020-04
影响因子：
2.4
作者：
M. Pratola;H. Chipman;Edward I. George;R. McCulloch
通讯作者：
M. Pratola;H. Chipman;Edward I. George;R. McCulloch
影响因子：
4.5
作者：
Buhlmann, Peter
通讯作者：
Buhlmann, Peter
影响因子：
0.7
作者：
Jeffrey W. Miller
通讯作者：
Jeffrey W. Miller
将分组信息合并到贝叶斯决策树集成中
DOI：
--
发表时间：
2019
期刊：
Proceedings of the 36th International Conference on Machine Learning
影响因子：
--
作者：
Du, Junliang;Linero, Antonio Ricardo
通讯作者：
Linero, Antonio Ricardo