PAC-Bayes Bounds on Variational Tempered Posteriors for Markov Models.
PAC-Bayes Bounds on Variational Tempered Posteriors for Markov Models.
复制标题
DOI：
10.3390/e23030313
复制
发表时间：
2021-03-06
期刊：
影响因子：
--
通讯作者：
Honnappa H
中科院分区：
文献类型：
--
作者：
Banerjee I;Rao VA;Honnappa H
显示时间相关性的数据集在科学和工程应用中比比皆是，马尔可夫模型代表了时间相关性结构的简化和流行的观点。在这篇文章中，我们考虑将先验分布置于马尔可夫模型的转移核参数之上的贝叶斯设置，并试图刻画所得到的通常难以处理的后验分布。提出了一种对后验分布的变分贝叶斯(VB)近似的近似近似(PAC)-贝叶斯分析，从而限制了VB近似的模型风险。众所周知，经过调和的后验概率对于模型的错误描述是稳健的，并且它们的变分近似不会遇到过度自信近似的常见问题。我们的结果将风险界与马尔可夫数据生成模型的混合和遍历性质联系在一起。我们通过一些马尔可夫模型的例子说明了PAC-贝叶斯界，并考虑了马尔可夫模型被错误指定的情况。
Datasets displaying temporal dependencies abound in science and engineering applications, with Markov models representing a simplified and popular view of the temporal dependence structure. In this paper, we consider Bayesian settings that place prior distributions over the parameters of the transition kernel of a Markov model, and seek to characterize the resulting, typically intractable, posterior distributions. We present a Probably Approximately Correct (PAC)-Bayesian analysis of variational Bayes (VB) approximations to tempered Bayesian posterior distributions, bounding the model risk of the VB approximations. Tempered posteriors are known to be robust to model misspecification, and their variational approximations do not suffer the usual problems of over confident approximations. Our results tie the risk bounds to the mixing and ergodic properties of the Markov data generating model. We illustrate the PAC-Bayes bounds through a number of example Markov models, and also consider the situation where the Markov model is misspecified.
登录
查看更多内容
影响因子：
1.2
作者：
HAJEK, B
通讯作者：
HAJEK, B
影响因子：
32.8
作者：
Wainwright, Martin J.;Jordan, Michael I.
通讯作者：
Jordan, Michael I.
影响因子：
4.5
作者：
Ghosal, S;Ghosh, JK;Van der Vaart, AW
通讯作者：
Van der Vaart, AW
影响因子：
4.5
作者：
Alquier, Pierre;Ridgway, James
通讯作者：
Ridgway, James
影响因子：
2
作者：
Alzer, H
通讯作者：
Alzer, H