Reinforcement learning or active inference?
Reinforcement learning or active inference?
复制标题
DOI：
10.1371/journal.pone.0006421
复制
发表时间：
2009-07-29
期刊：
影响因子：
3.7
通讯作者：
Kiebel SJ
中科院分区：
文献类型：
--
作者：
Friston KJ;Daunizeau J;Kiebel SJ
本文质疑在优化行为时是否需要强化学习或控制理论。我们表明，这是相当简单的教导代理复杂的和自适应的行为，使用自由能配方的看法。在这个公式中，智能体调整其内部状态和环境采样，以最小化其自由能。这种智能体学习环境中的因果结构，并以自适应和自我监督的方式对其进行采样。这导致行为策略重现了通过强化学习和动态编程优化的行为策略。重要的是，我们不需要调用奖励，价值或效用的概念。我们说明了这些点，通过解决动态规划中的基准问题，即山地车问题，使用主动感知或推理下的自由能原则。随后的概念验证可能是重要的，因为自由能公式解释了行为和感知的统一解释，并可能重新评估多巴胺在大脑中的作用。
This paper questions the need for reinforcement learning or control theory when optimising behaviour. We show that it is fairly simple to teach an agent complicated and adaptive behaviours using a free-energy formulation of perception. In this formulation, agents adjust their internal states and sampling of the environment to minimize their free-energy. Such agents learn causal structure in the environment and sample it in an adaptive and self-supervised fashion. This results in behavioural policies that reproduce those optimised by reinforcement learning and dynamic programming. Critically, we do not need to invoke the notion of reward, value or utility. We illustrate these points by solving a benchmark problem in dynamic programming; namely the mountain-car problem, using active perception or inference under the free-energy principle. The ensuing proof-of-concept may be important because the free-energy formulation furnishes a unified account of both action and perception and may speak to a reappraisal of the role of dopamine in the brain.
登录
查看更多内容
影响因子：
4.3
作者：
Kiebel SJ;Daunizeau J;Friston KJ
通讯作者：
Friston KJ
影响因子：
1.7
作者：
Evans, DJ
通讯作者：
Evans, DJ
DOI：
10.1098/rstb.2005.1622
发表时间：
2005-04-29
影响因子：
6.3
作者：
Friston, KJ
通讯作者：
Friston, KJ
影响因子：
5.7
作者：
Friston, Karl J.;Mattout, Jeremie;Penny, Will
通讯作者：
Penny, Will
影响因子：
1.5
作者：
Friston, Karl J.;Stephan, Klaas E.
通讯作者：
Stephan, Klaas E.