Model Minimization in Hierarchical Reinforcement Learning
Model Minimization in Hierarchical Reinforcement Learning
复制标题
分层强化学习中的模型最小化
DOI：
--
复制
发表时间：
2002
期刊：
影响因子：
--
通讯作者：
A. Barto
中科院分区：
文献类型：
--
作者：
Balaraman Ravindran;A. Barto
当马尔可夫决策过程(MDP)应用于现实世界的问题时，通常会显示出相当大的隐冗余，特别是当问题中存在对称性时。在本文中，我们提出了一个基于同态的MDP最小化框架。该框架利用冗余性和对称性来推导出问题的更小的等价模型。然后，我们将我们的最小化思想应用到期权框架中，得出相对化的期权--没有绝对参照系定义的期权。我们通过经验证明了它们的有效性，即使在最小化标准不完全满足的情况下也是如此。
When applied to real world problems Markov Decision Processes (MDPs) often exhibit considerable implicit redundancy, especially when there are symmetries in the problem. In this article we present an MDP minimization framework based on homomorphisms. The framework exploits redundancy and symmetry to derive smaller equivalent models of the problem. We then apply our minimization ideas to the options framework to derive relativized options--options defined without an absolute frame of reference. We demonstrate their utility empirically even in cases where the minimization criteria are not met exactly.