Revisiting the Role of Uncertainty-Driven Exploration in a (Perceived) Non-Stationary World
Revisiting the Role of Uncertainty-Driven Exploration in a (Perceived) Non-Stationary World
复制标题
重新审视不确定性驱动的探索在（感知的）非平稳世界中的作用
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Angela J. Yu
中科院分区：
文献类型：
--
作者：
Dalin Guo;Angela J. Yu
人类经常面临探索与开发的权衡。一个常用的范例，多臂强盗，已经表明人类表现出“不确定性奖金”，它与估计的奖励相结合，以推动探索。然而，以前的研究通常使用贝叶斯模型或强化学习模型来模拟信念更新，贝叶斯模型假设奖励偶然性保持不变。另外，我们之前表明，人类在强盗任务中的学习最好由动态信念贝叶斯模型捕获。我们假设估计的不确定性奖金可能取决于采用哪种学习模型。在这里，我们使用所有三种学习模型重新分析了一个bandit数据集。我们发现，动态信念模型捕捉人类选择行为最好的，同时也发现了一个更大的不确定性奖金比其他模型。更广泛地说，我们的研究结果还强调了适当的学习模型的重要性，因为它对于正确描述人类决策过程至关重要。
Humans are often faced with an exploration-versus-exploitation trade-off. A commonly used paradigm, multi-armed bandit, has shown humans to exhibit an "uncertainty bonus", which combines with estimated reward to drive exploration. However, previous studies often modeled belief updating using either a Bayesian model that assumed the reward contingency to remain stationary, or a reinforcement learning model. Separately, we previously showed that human learning in the bandit task is best captured by a dynamic-belief Bayesian model. We hypothesize that the estimated uncertainty bonus may depend on which learning model is employed. Here, we re-analyze a bandit dataset using all three learning models. We find that the dynamic-belief model captures human choice behavior best, while also uncovering a much larger uncertainty bonus than the other models. More broadly, our results also emphasize the importance of an appropriate learning model, as it is crucial for correctly characterizing the processes underlying human decision making.
DOI：
--
发表时间：
2008-12
期刊：
Advances in neural information processing systems
影响因子：
--
作者：
Angela J. Yu;J. Cohen
通讯作者：
Angela J. Yu;J. Cohen
DOI：
10.1037/a0013553
发表时间：
2009-06
影响因子：
2.1
作者：
Yu, Angela J.;Dayan, Peter;Cohen, Jonathan D.
通讯作者：
Cohen, Jonathan D.
人类使用定向和随机探索来解决探索-利用困境。
DOI：
10.1037/a0038199
发表时间：
2014
期刊：
Journal of experimental psychology. General
影响因子：
--
作者：
Wilson,RobertC;Geana,Andra;White,JohnM;Ludvig,ElliotA;Cohen,JonathanD
通讯作者：
Cohen,JonathanD