RePReL: Integrating Relational Planning and Reinforcement Learning for Effective Abstraction
RePReL: Integrating Relational Planning and Reinforcement Learning for Effective Abstraction
复制标题
RePReL：集成关系规划和强化学习以实现有效抽象
DOI：
10.1609/icaps.v31i1.16001
复制
发表时间：
2021
影响因子：
4
通讯作者：
Prasad Tadepalli
中科院分区：
文献类型：
--
作者：
Harsha Kokel;Arjun Manoharan;Sriraam Natarajan;Balaraman Ravindran;Prasad Tadepalli
在复杂的强化学习环境中，状态抽象是实现任务转移的必要条件。受MAXQ中状态抽象的好处和基于混合计划器- rl架构的启发，我们提出了RePReL，这是一个利用关系计划器提供有用状态抽象的分层框架。我们的实验表明，抽象可以实现更快的学习和有效的跨任务迁移。更重要的是，我们的框架使标准强化学习方法在结构化领域的应用成为可能。在关系设置中，使用状态抽象的好处是至关重要的，在关系设置中，对象的数量和/或类型不是先验固定的。我们的实验清楚地表明，RePReL框架不仅在手头任务上取得了更好的性能和有效的学习，而且对未见过的任务也表现出更好的泛化。
State abstraction is necessary for better task transfer in complex reinforcement learning environments. Inspired by the benefit of state abstraction in MAXQ and building upon hybrid planner-RL architectures, we propose RePReL, a hierarchical framework that leverages a relational planner to provide useful state abstractions. Our experiments demonstrate that the abstractions enable faster learning and efficient transfer across tasks. More importantly, our framework enables the application of standard RL approaches for learning in structured domains. The benefit of using the state abstractions is critical in relational settings, where the number and/or types of objects are not fixed apriori. Our experiments clearly show that RePReL framework not only achieves better performance and efficient learning on the task at hand but also demonstrates better generalization to unseen tasks.
DOI：
--
发表时间：
2018-07
期刊：
--
影响因子：
--
作者：
David Abel;Dilip Arumugam;Lucas Lehnert;M. Littman
通讯作者：
David Abel;Dilip Arumugam;Lucas Lehnert;M. Littman