Trace-class Gaussian priors for Bayesian learning of neural networks with MCMC
Trace-class Gaussian priors for Bayesian learning of neural networks with MCMC
复制标题
使用 MCMC 进行神经网络贝叶斯学习的迹级高斯先验
DOI：
10.1093/jrsssb/qkac005
复制
发表时间：
2023
影响因子：
--
通讯作者：
Sell T
中科院分区：
文献类型：
--
作者：
Sell T
介绍了一种新的基于先验神经网络的实值函数算法。神经网络的每个权重和偏置都有一个独立的高斯先验，关键的新颖之处在于，方差随着网络宽度的减小而减小，从而使结果函数在无限宽度网络的极限中得到很好的定义。利用希尔伯特空间马尔可夫链蒙特卡罗（MCMC）方法证明了诱导后验函数可以进行蒙特卡罗采样。这种类型的MCMC是稳定的网格下细化，即随着函数先验参数的增加，接受概率不退化，甚至无穷大。我们展示了这些优于其他函数空间先验的优势，例如在贝叶斯强化学习中。
This paper introduces a new neural network based prior for real valued functions. Each weight and bias of the neural network has an independent Gaussian prior, with the key novelty that the variances decrease in the width of the network in such a way that the resulting function is well defined in the limit of an infinite width network. We show that the induced posterior over functions is amenable to Monte Carlo sampling using Hilbert space Markov chain Monte Carlo (MCMC) methods. This type of MCMC is stable undermesh refinement, i.e. the acceptance probability does not degenerate as more parameters of the function's prior are introduced, evenad infinitum. We demonstrate these advantages over other function space priors, for example in Bayesian Reinforcement Learning.
登录
查看更多内容
DOI：
--
发表时间：
2007
期刊：
影响因子：
--
作者：
Yamamoto;et al.
通讯作者：
et al.
DOI：
--
发表时间：
2017-11
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Matthew M. Dunlop;M. Girolami;A. Stuart;A. Teckentrup
通讯作者：
Matthew M. Dunlop;M. Girolami;A. Stuart;A. Teckentrup
DOI：
--
发表时间：
2018-02
期刊：
ArXiv
影响因子：
--
作者：
A. G. Matthews;Mark Rowland;Jiri Hron;Richard E. Turner;Zoubin Ghahramani
通讯作者：
A. G. Matthews;Mark Rowland;Jiri Hron;Richard E. Turner;Zoubin Ghahramani
循环马尔可夫链极限理论的新方法
DOI：
--
发表时间：
1978
期刊：
影响因子：
--
作者：
K. Athreya;P. Ney
通讯作者：
P. Ney
从高振荡到快速逼近 III：多元展开
DOI：
--
发表时间：
2009
期刊：
影响因子：
--
作者：
A. Iserles;S. P. Nørsett
通讯作者：
S. P. Nørsett