Pure correlates of exploration and exploitation in the human brain.
Pure correlates of exploration and exploitation in the human brain.
复制标题
DOI：
10.3758/s13415-017-0556-2
复制
发表时间：
2018-03
期刊：
影响因子：
--
通讯作者：
Gershman SJ
中科院分区：
文献类型：
--
作者：
Blanchard TC;Gershman SJ
平衡探索和利用是强化学习的基本问题。先前关于探索-开发困境的神经影像学研究不能完全区分这两个过程，因此很难明确地识别它们的神经特征。我们通过一个任务来克服这个问题，在这个任务中，受试者可以观察（纯粹探索）或下注（纯粹利用）。在观察实验中，脑岛和背前扣带皮层的活动明显高于打赌实验，这表明这些区域在推动探索中发挥了作用。一项基于模型的任务表现分析表明，受试者选择观察直到达到一个关键的证据阈值。我们在腹内侧前额叶皮层观察到这一证据积累过程的神经特征。这些发现支持了前扣带皮层在探索中发挥重要作用的理论，同时也为岛叶和腹内侧前额叶皮层的作用提供了新的视角。
Balancing exploration and exploitation is a fundamental problem in reinforcement learning. Previous neuroimaging studies of the exploration-exploitation dilemma could not completely disentangle these two processes, making it difficult to unambiguously identify their neural signatures. We overcome this problem using a task in which subjects can either observe (pure exploration) or bet (pure exploitation). Insula and dorsal anterior cingulate cortex showed significantly greater activity on observe trials compared to bet trials, suggesting that these regions play a role in driving exploration. A model-based analysis of task performance suggested that subjects chose to observe until a critical evidence threshold was reached. We observed a neural signature of this evidence accumulation process in ventromedial prefrontal cortex. These findings support theories positing an important role for anterior cingulate cortex in exploration, while also providing a new perspective on the roles of insula and ventromedial prefrontal cortex.
登录
查看更多内容
影响因子：
5.7
作者：
Bartra, Oscar;McGuire, Joseph T.;Kable, Joseph W.
通讯作者：
Kable, Joseph W.
影响因子：
64.8
作者：
Daw, Nathaniel D.;O'Doherty, John P.;Dayan, Peter;Seymour, Ben;Dolan, Raymond J.
通讯作者：
Dolan, Raymond J.
影响因子：
5.4
作者：
BUSH, RR;MOSTELLER, F
通讯作者：
MOSTELLER, F
DOI：
10.1098/rstb.2007.2098
发表时间：
2007-05-29
影响因子：
6.3
作者：
Cohen, Jonathan D.;McClure, Samuel M.;Yu, Angela J.
通讯作者：
Yu, Angela J.
影响因子：
16.2
作者：
Boorman, Erie D.;Behrens, Timothy E. J.;Rushworth, Matthew F. S.
通讯作者：
Rushworth, Matthew F. S.