Uncertainty and Exploration
Uncertainty and Exploration
复制标题
不确定性与探索
DOI：
10.1101/265504
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
S. Gershman
中科院分区：
文献类型：
--
作者：
S. Gershman
为了发现最有回报的行为，代理必须收集关于他们环境的信息，可能是前述奖励。这种“探索-利用”困境的最佳解决方案通常在计算上具有挑战性，但存在原则性的算法近似。这些近似以不同的方式利用有关作用值的不确定性。一些随机探索算法根据不确定性水平来衡量选择的随机性水平。其他定向探测算法为具有较高不确定性的动作值增加了一项“加分”。随机探测算法对动作间的总不确定性敏感，而定向探测算法对相对不确定性敏感。本文报道了一个多臂强盗实验，在该实验中，总不确定度和相对不确定度被正交操纵。我们发现，人类使用这两种探索策略，并且这些策略独立地由不同的不确定性计算控制。
In order to discover the most rewarding actions, agents must collect information about their environment, potentially foregoing reward. The optimal solution to this “explore-exploit” dilemma is often computationally challenging, but principled algorithmic approximations exist. These approximations utilize uncertainty about action values in different ways. Some random exploration algorithms scale the level of choice stochasticity with the level of uncertainty. Other directed exploration algorithms add a “bonus” to action values with high uncertainty. Random exploration algorithms are sensitive to total uncertainty across actions, whereas directed exploration algorithms are sensitive to relative uncertainty. This paper reports a multi-armed bandit experiment in which total and relative uncertainty were orthogonally manipulated. We found that humans employ both exploration strategies, and that these strategies are independently controlled by different uncertainty computations.
人类使用定向和随机探索来解决探索-利用困境。
DOI：
10.1037/a0038199
发表时间：
2014
期刊：
Journal of experimental psychology. General
影响因子：
--
作者：
Wilson,RobertC;Geana,Andra;White,JohnM;Ludvig,ElliotA;Cohen,JonathanD
通讯作者：
Cohen,JonathanD