Temporal and state abstractions for efficient learning, transfer, and composition in humans.
Temporal and state abstractions for efficient learning, transfer, and composition in humans.
复制标题
用于人类有效学习、迁移和组合的时间和状态抽象。
DOI：
10.1037/rev0000295
复制
发表时间：
2021-07
影响因子：
5.4
通讯作者：
Collins AGE
中科院分区：
文献类型：
--
作者：
Xia L;Collins AGE
人类利用先前的知识来有效地解决新的任务，但他们在学习过程中如何组织过去的知识以实现如此快速的概括还没有被很好地理解。我们最近提出，分层状态抽象通过为每个规则推断上下文簇，实现了简单的一步规则的泛化。然而，人类的日常任务往往是暂时延长的，需要更复杂的多步骤、分级结构的策略。分层强化学习中的OPTIONS框架为表征这种可迁移策略提供了一个理论框架。选项是抽象的多步骤策略，由更简单的一步操作或其他选项组合而成，可以将有意义的可重用策略表示为时间抽象。我们开发了一种新的序贯决策协议来测试人类是否学习和传递多步选项。在一系列的四个实验中，我们发现在多个抽象层次上的迁移效应不能用平面强化学习模型或缺乏时间抽象的层次模型来解释。我们对OPTIONS框架进行了扩展，以开发一个混合了时间和状态抽象的量化模型。我们的模型捕捉到了在人类参与者身上观察到的转移效应。我们的结果提供了证据，证明人类创造和组成分层选项，并使用它们在新的环境中进行探索，从而传递过去的知识并加快学习速度。
Humans use prior knowledge to efficiently solve novel tasks, but how they structure past knowledge during learning to enable such fast generalization is not well understood. We recently proposed that hierarchical state abstraction enabled generalization of simple one-step rules, by inferring context clusters for each rule. However, humans’ daily tasks are often temporally-extended, and necessitate more complex multi-step, hierarchically structured strategies. The options framework in hierarchical reinforcement learning provides a theoretical framework for representing such transferable strategies. Options are abstract multi-step policies, assembled from simpler one-step actions or other options, that can represent meaningful reusable strategies as temporal abstractions. We developed a novel sequential decision making protocol to test if humans learn and transfer multi-step options. In a series of four experiments, we found transfer effects at multiple hierarchical levels of abstraction that could not be explained by flat reinforcement learning models or hierarchical models lacking temporal abstraction. We extended the options framework to develop a quantitative model that blends temporal and state abstractions. Our model captures the transfer effects observed in human participants. Our results provide evidence that humans create and compose hierarchical options, and use them to explore in novel contexts, consequently transferring past knowledge and speeding up learning.
登录
查看更多内容
影响因子：
5
作者：
Balleine, Bernard W.;Dezfouli, Amir;Doya, Kenji
通讯作者：
Doya, Kenji
影响因子：
3.4
作者：
Botvinick MM;Niv Y;Barto AG
通讯作者：
Barto AG
影响因子：
3.2
作者：
Collins, Anne G. E.
通讯作者：
Collins, Anne G. E.
影响因子：
5.4
作者：
BIEDERMAN, I
通讯作者：
BIEDERMAN, I
DOI：
10.1111/j.1460-9568.2011.07980.x
发表时间：
2012-04
期刊：
The European journal of neuroscience
影响因子：
--
作者：
Collins AG;Frank MJ
通讯作者：
Frank MJ