Variance minimization of parameterized Markov decision processes
Variance minimization of parameterized Markov decision processes
复制标题
参数化马尔可夫决策过程的方差最小化
DOI：
10.1007/s10626-017-0258-5
复制
发表时间：
2018-03
期刊：
影响因子：
--
通讯作者：
Li Xia
中科院分区：
文献类型：
--
作者：
Li Xia
在本文中，我们研究马尔可夫决策过程（MDPs）的方差最小化问题，其中策略由行动选择概率或其他一般参数进行参数化。不同于大多使用的平均或折扣准则……
In this paper, we study the variance minimization problem of Markov decision processes (MDPs) in which the policy is parameterized by action selection probabilities or other general parameters. Different from the average or discounted criterion mostly used in the traditional MDP theory, the variance criterion is difficult to handle because of the non-Markovian property caused by the nonlinear (quadratic) structure of variance function. With the basic idea of sensitivity-based optimization, we derive a difference formula of the reward variance under any two parametric policies. A variance derivative formula is also obtained. With these sensitivity formulas, we obtain a necessary condition of the optimal policy with the minimal variance. We also prove that the optimal policy with the minimal variance can be found in the deterministic policy space. An iterative algorithm is further developed to efficiently reduce the reward variance and this algorithm can converge to the local optimal policy. Finally, we conduct some numerical experiments to demonstrate the main results of this paper.
登录
查看更多内容
DOI：
--
发表时间：
1976
期刊：
--
影响因子：
--
作者：
D. Bertsekas
通讯作者：
D. Bertsekas
DOI：
10.1109/cdc.1998.757861
发表时间：
1998-12
期刊：
Proceedings of the 37th IEEE Conference on Decision and Control (Cat. No.98CH36171)
影响因子：
--
作者：
P. Marbach;J. Tsitsiklis
通讯作者：
P. Marbach;J. Tsitsiklis
DOI：
10.1109/wodes.2016.7497868
发表时间：
2016-05
期刊：
2016 13th International Workshop on Discrete Event Systems (WODES)
影响因子：
--
作者：
L. Xia
通讯作者：
L. Xia
DOI：
--
发表时间：
2002
期刊：
--
影响因子：
--
作者：
E. Feinberg;A. Shwartz
通讯作者：
E. Feinberg;A. Shwartz
DOI：
10.1287/opre.42.1.184
发表时间：
1994-02
期刊：
Oper. Res.
影响因子：
--
作者：
Kun-Jen Chung
通讯作者：
Kun-Jen Chung