Using the Ornstein-Uhlenbeck Process for Random Exploration
Using the Ornstein-Uhlenbeck Process for Random Exploration
复制标题
使用 Ornstein-Uhlenbeck 过程进行随机探索
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
P. Simoens
中科院分区：
文献类型：
--
作者：
J. Nauta;Yara Khaluf;P. Simoens
在基于模型的强化学习中，智能体的目标是学习可达到状态之间的转换模型。由于代理最初对过渡模型的知识为零，因此它需要采取随机探索来学习模型。在这项工作中，我们演示了如何可以使用的Ornstein-Uhlenbeck过程作为一个采样方案，以产生探索布朗运动的过渡模型的情况下。虽然目前的方法依赖于过渡模型的知识来生成布朗运动的步骤，但Ornstein-Uhlenbeck过程并不依赖于过渡模型。此外，Ornstein-Uhlenbeck过程自然包括源自势函数的漂移项。我们表明，这种潜力可以由代理本身控制，并允许执行非平衡行为，如弹道运动或局部捕获。
In model-based Reinforcement Learning, an agent aims to learn a transition model between attainable states. Since the agent initially has zero knowledge of the transition model, it needs to resort to random exploration in order to learn the model. In this work, we demonstrate how the Ornstein-Uhlenbeck process can be used as a sampling scheme to generate exploratory Brownian motion in the absence of a transition model. Whereas current approaches rely on knowledge of the transition model to generate the steps of Brownian motion, the Ornstein-Uhlenbeck process does not. Additionally, the Ornstein-Uhlenbeck process naturally includes a drift term originating from a potential function. We show that this potential can be controlled by the agent itself, and allows executing non-equilibrium behavior such as ballistic motion or local trapping.
DOI：
10.1073/pnas.1320424111
发表时间：
2014-02-25
影响因子：
11.1
作者：
Palyulin, Vladimir V.;Chechkin, Aleksei V.;Metzler, Ralf
通讯作者：
Metzler, Ralf