Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm
Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm
复制标题
平滑参数化系统的贝叶斯最优控制：惰性后验采样算法
DOI：
--
复制
发表时间：
2014
期刊：
影响因子：
--
通讯作者：
Csaba Szepesvari
中科院分区：
文献类型：
--
作者：
Yasin Abbasi;Csaba Szepesvari
研究了一类光滑参数化马尔可夫决策问题的贝叶斯最优控制。由于计算最优控制在计算上是昂贵的，我们设计了一种算法来权衡性能和计算效率。该算法是一种延迟后验抽样方法，它保持了未知参数的分布。只有当分布的方差足够小时，算法才会改变策略。重要的是，我们分析了算法，并展示了性能与计算权衡的精确本质。最后，我们在一个web服务器控制应用中展示了该方法的有效性。
We study Bayesian optimal control of a general class of smoothly parameterized Markov decision problems. Since computing the optimal control is computationally expensive, we design an algorithm that trades off performance for computational efficiency. The algorithm is a lazy posterior sampling method that maintains a distribution over the unknown parameter. The algorithm changes its policy only when the variance of the distribution is reduced sufficiently. Importantly, we analyze the algorithm and show the precise nature of the performance vs. computation tradeoff. Finally, we show the effectiveness of the method on a web server control application.