Entorhinal and ventromedial prefrontal cortices abstract and generalize the structure of reinforcement learning problems.
Entorhinal and ventromedial prefrontal cortices abstract and generalize the structure of reinforcement learning problems.
复制标题
DOI：
10.1016/j.neuron.2020.11.024
复制
发表时间：
2021-02-17
期刊：
影响因子：
16.2
通讯作者：
Behrens TEJ
中科院分区：
文献类型：
--
作者：
Baram AB;Muller TH;Nili H;Garvert MM;Behrens TEJ
了解问题的结构，如刺激之间的关系，可以快速学习和灵活推理。人类和其他动物可以提取这种结构知识，并将其推广到解决新问题。例如，在空间推理中，最短路径推理在新环境中是即时的。空间结构转移是由内嗅和（在人类）内侧前额叶皮层中的细胞介导的，这些细胞在不同的环境和行为状态下保持它们的共激活结构。在这里，使用功能磁共振成像，我们表明，内嗅和腹内侧前额叶皮层（vmPFC）的代表执行更广泛的作用，概括的结构的问题。我们引入了一个任务重新映射的范例，其中受试者解决多个强化学习（RL）的问题，不同的结构或感官特性。我们表明，与空间，内嗅表示保存在不同的RL问题，只有当任务结构被保留。在vmPFC和腹侧纹状体，预测错误的表征也依赖于任务结构。内嗅皮层代表RL任务的任务结构（规则）在物理空间中，这种表示与感官信号分离预测误差信号的空间模式取决于任务结构这种任务结构的关系表示可能是概括的基础我们如何在只有松散相关但具有相似结构的问题之间概括知识？Baram等人从啮齿类动物空间任务中内嗅皮层的泛化特性中得到启发，表明内嗅和腹内侧前额叶皮层泛化了人类强化学习任务的结构。
Knowledge of the structure of a problem, such as relationships between stimuli, enables rapid learning and flexible inference. Humans and other animals can abstract this structural knowledge and generalize it to solve new problems. For example, in spatial reasoning, shortest-path inferences are immediate in new environments. Spatial structural transfer is mediated by cells in entorhinal and (in humans) medial prefrontal cortices, which maintain their co-activation structure across different environments and behavioral states. Here, using fMRI, we show that entorhinal and ventromedial prefrontal cortex (vmPFC) representations perform a much broader role in generalizing the structure of problems. We introduce a task-remapping paradigm, where subjects solve multiple reinforcement learning (RL) problems differing in structural or sensory properties. We show that, as with space, entorhinal representations are preserved across different RL problems only if task structure is preserved. In vmPFC and ventral striatum, representations of prediction error also depend on task structure. Entorhinal cortex represents the task structure (rules) of an RL task As in physical space, this representation is divorced from sensory signals Spatial patterns of prediction error signals depended on task structure Such relational representations of task structure might underlie generalisation How do we generalize knowledge between problems that are only loosely related but have a similar structure? Baram et al. take inspiration from the generalization properties of entorhinal cortex in rodent spatial tasks to show that entorhinal and ventromedial prefrontal cortices generalize the structure of reinforcement learning tasks in humans.
登录
查看更多内容
影响因子：
16.2
作者：
Bush D;Barry C;Manson D;Burgess N
通讯作者：
Burgess N
影响因子：
25
作者：
Gil, Mariana;Ancau, Mihai;Monyer, Hannah
通讯作者：
Monyer, Hannah
影响因子：
16.2
作者：
Bao, Xiaojun;Gjorgieva, Eva;Gottfried, Jay A.
通讯作者：
Gottfried, Jay A.
使用非阴性主成分分析从位置细胞输入中提取网格细胞特征。
影响因子：
7.7
作者：
Dordek Y;Soudry D;Meir R;Derdikman D
通讯作者：
Derdikman D
影响因子：
5.7
作者：
Dale, AM;Fischl, B;Sereno, MI
通讯作者：
Sereno, MI