A causal approach to hierarchical decomposition of factored MDPs
A causal approach to hierarchical decomposition of factored MDPs
复制标题
因式 MDP 层次分解的因果方法
DOI：
--
复制
发表时间：
2005
期刊：
影响因子：
--
通讯作者：
A. Barto
中科院分区：
文献类型：
--
作者：
Anders Jonsson;A. Barto
我们提出了可变影响结构分析，一个算法，动态地执行层次分解的因素马尔可夫决策过程。我们的算法确定状态变量之间的因果关系，并引入时间扩展的动作，导致状态变量的值发生变化。每一个时间上扩展的动作对应的子任务比整个任务更容易解决。实验结果表明，在扩展到更大的任务有很大的希望。
We present Variable Influence Structure Analysis, an algorithm that dynamically performs hierarchical decomposition of factored Markov decision processes. Our algorithm determines causal relationships between state variables and introduces temporally-extended actions that cause the values of state variables to change. Each temporally-extended action corresponds to a subtask that is significantly easier to solve than the overall task. Results from experiments show great promise in scaling to larger tasks.