A hypothesis for basal ganglia-dependent reinforcement learning in the songbird.
A hypothesis for basal ganglia-dependent reinforcement learning in the songbird.
复制标题
DOI：
10.1016/j.neuroscience.2011.09.069
复制
发表时间：
2011-12-15
期刊：
影响因子：
3.3
通讯作者：
Goldberg, J. H.
中科院分区：
文献类型：
--
作者：
Fee, M. S.;Goldberg, J. H.
我们的大多数运动技能不是天生的，而是通过运动探索和性能评估相结合来学习的，这表明它们是通过强化学习（RL）机制进行的。鸣禽已经成为研究如何通过类似RL的策略学习复杂行为序列的模型系统。有趣的是，像哺乳动物的运动序列学习一样，鸟类的歌曲学习需要基底神经节（BG）-丘脑皮质回路，这表明了共同的神经机制。在这里，我们概述了一个具体的工作假设BG-前脑电路可以利用内部计算的强化信号来指导歌曲学习。我们的模型包括一些从哺乳动物BG文献中借来的一般概念，包括多巴胺能奖励预测错误和多巴胺介导的皮质纹状体突触可塑性。我们还援引了一些概念上的进步，从最近的观察鸣禽。具体来说，有证据表明，一个专门的皮质电路，增加了试验到试验的变化，刻板的皮质运动程序，和BG的作用，在“偏置”这种变化，以提高行为表现。这种BG依赖的“运动前偏置”可能反过来引导下游皮层突触的可塑性，以巩固最近学习的歌曲变化。考虑到哺乳动物和鸣禽BG-丘脑皮质回路之间的相似性，我们的模型BG在这个过程中的作用可能与哺乳动物BG功能有更广泛的相关性。
Most of our motor skills are not innately programmed, but are learned by a combination of motor exploration and performance evaluation, suggesting that they proceed through a reinforcement learning (RL) mechanism. Songbirds have emerged as a model system to study how a complex behavioral sequence can be learned through an RL-like strategy. Interestingly, like motor sequence learning in mammals, song learning in birds requires a basal ganglia (BG)-thalamocortical loop, suggesting common neural mechanisms. Here we outline a specific working hypothesis for how BG-forebrain circuits could utilize an internally computed reinforcement signal to direct song learning. Our model includes a number of general concepts borrowed from the mammalian BG literature, including a dopaminergic reward prediction error and dopamine mediated plasticity at corticostriatal synapses. We also invoke a number of conceptual advances arising from recent observations in the songbird. Specifically, there is evidence for a specialized cortical circuit that adds trial-to-trial variability to stereotyped cortical motor programs, and a role for the BG in ‘biasing’ this variability to improve behavioral performance. This BG-dependent ‘premotor bias’ may in turn guide plasticity in downstream cortical synapses to consolidate recently-learned song changes. Given the similarity between mammalian and songbird BG-thalamocortical circuits, our model for the role of the BG in this process may have broader relevance to mammalian BG function.
登录
查看更多内容
通过逆行标记鉴定纹状体投射神经元类型上 D1 和 D2 多巴胺受体的大鼠核周差异定位
影响因子：
2.8
作者：
Deng, Yun-Ping;Lei, Wan-Long;Reiner, Anton
通讯作者：
Reiner, Anton
影响因子：
2.5
作者：
BOTTJER, SW;HALSEMA, KA;MIESNER, EA
通讯作者：
MIESNER, EA
影响因子：
64.8
作者：
Barnes, TD;Kubota, Y;Graybiel, AM
通讯作者：
Graybiel, AM
影响因子：
64.8
作者：
Derégnaucourt, S;Mitra, PP;Tchernichovski, O
通讯作者：
Tchernichovski, O
影响因子：
56.9
作者：
Aronov, Dmitriy;Andalman, Aaron S.;Fee, Michale S.
通讯作者：
Fee, Michale S.