A Markov chain perspective on adaptive Monte Carlo algorithms
A Markov chain perspective on adaptive Monte Carlo algorithms
复制标题
自适应蒙特卡罗算法的马尔可夫链视角
DOI：
--
复制
发表时间：
2001
期刊：
影响因子：
--
通讯作者：
P. Glynn
中科院分区：
文献类型：
--
作者：
P. Y. Desai;P. Glynn
本文讨论了自适应蒙特卡罗算法与一般状态空间马尔可夫链之间的一些联系。自适应算法是迭代方法，其中先前生成的样本用于在当前迭代中构造更有效的采样分布。在本文中，我们描述了两种这样的自适应算法，一种是在期望奖励的有限范围计算中产生的，另一种是在解决特征值问题的背景下产生的。然后，我们讨论这些自适应算法和一般状态空间马尔可夫链理论之间的连接，并提供一些见解，在试图应用已知的理论一般状态空间链，这种自适应算法中出现的一些技术困难。
This paper discusses some connections between adaptive Monte Carlo algorithms and general state space Markov chains. Adaptive algorithms are iterative methods in which previously generated samples are used to construct a more efficient sampling distribution at the current iteration. In this paper, we describe two such adaptive algorithms, one arising in a finite-horizon computation of expected reward and the other arising in the context of solving eigenvalue problems. We then discuss the connection between these adaptive algorithms and general state space Markov chain theory, and offer some insights into some of the technical difficulties that arise in trying to apply the known theory for general state space chains to such adaptive algorithms.