Inferring relevance in a changing world.
Inferring relevance in a changing world.
复制标题
在不断变化的世界中推断相关性。
DOI：
10.3389/fnhum.2011.00189
复制
发表时间：
2011
影响因子：
2.9
通讯作者：
Niv Y
中科院分区：
文献类型：
--
作者：
Wilson RC;Niv Y
人类和动物学习的强化学习模型通常集中在我们如何学习不同刺激或动作与奖励之间的关系。然而，在现实世界的情况下，“刺激”是不明确的。一方面，我们的直接环境是极其多层面的。另一方面，在每一个决策场景中，只有环境的几个方面与获得奖励有关，而大多数都是无关紧要的。因此，一个关键问题是我们如何学习这些相关的维度，也就是说，我们如何学习要学习的内容？我们研究了这个过程中的“代表性学习”的实验，使用一个任务，其中一个刺激维度是相关的，以确定在每个时间点的奖励。就像在真实的生活中一样，在我们的任务中，相关的维度可以毫无预兆地发生变化，增加了不断变化的环境所产生的永远存在的不确定性。我们发现，人类在这项任务上的表现是更好地描述了一个次优的战略选择性注意力和序列假设检验的基础上，而不是基于概率推理的规范性策略。由此，我们推测，在一般情况下推断相关性的问题对大脑的计算要求太高，无法以最佳方式解决。因此，大脑利用近似，即使在最佳表征学习易于处理的简化场景中也会使用这些近似，例如我们实验中的场景。
Reinforcement learning models of human and animal learning usually concentrate on how we learn the relationship between different stimuli or actions and rewards. However, in real-world situations “stimuli” are ill-defined. On the one hand, our immediate environment is extremely multidimensional. On the other hand, in every decision making scenario only a few aspects of the environment are relevant for obtaining reward, while most are irrelevant. Thus a key question is how do we learn these relevant dimensions, that is, how do we learn what to learn about? We investigated this process of “representation learning” experimentally, using a task in which one stimulus dimension was relevant for determining reward at each point in time. As in real life situations, in our task the relevant dimension can change without warning, adding ever-present uncertainty engendered by a constantly changing environment. We show that human performance on this task is better described by a suboptimal strategy based on selective attention and serial-hypothesis-testing rather than a normative strategy based on probabilistic inference. From this, we conjecture that the problem of inferring relevance in general scenarios is too computationally demanding for the brain to solve optimally. As a result the brain utilizes approximations, employing these even in simplified scenarios in which optimal representation learning is tractable, such as the one in our experiment.
登录
查看更多内容
影响因子：
64.8
作者：
Körding, KP;Wolpert, DM
通讯作者：
Wolpert, DM
在行动中构建学习。
影响因子：
2.7
作者：
Braun, Daniel A.;Mehring, Carsten;Wolpert, Daniel M.
通讯作者：
Wolpert, Daniel M.
影响因子：
4.5
作者：
BARRY, D;HARTIGAN, JA
通讯作者：
HARTIGAN, JA
影响因子：
5.4
作者：
Kemp, Charles;Tenenbaum, Joshua B.
通讯作者：
Tenenbaum, Joshua B.
影响因子：
9.2
作者：
Alais, D;Burr, D
通讯作者：
Burr, D