中脳ドーパミン系による、長期的な将来報酬の価値と予測誤差の表現機構の解明

阐明中脑多巴胺系统长期未来奖励值和预测误差的表达机制

• 批准号: 08J02233
• 负责人: 榎本 一紀
• 金额: $ 0.58万
• 依托单位: Kyoto Prefectural University of Medicine
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08J02233/
• 关键词: ドーパミン; 報酬; 価値; 学習; 霊長類; 電気生理; 強化学習; 大脳基底核

本研究は、動物がゴールに向かって行動するうえで、学習や意志決定に関わっている大脳皮質-基底核回路において中心的な役割を担っているドーパミン系による報酬情報の表現が、複数回の将来報酬の価値を反映しているという仮説を明らかにすることを目的とする。ニホンザルを被験体として、報酬を得るために3つの選択肢から適切な行動を選択する、1ブロックが複数ステップの報酬獲得からなる課題を学習させ、課題遂行中のドーパミン細胞の活動を電気生理学手法を用いて記録した。3頭の動物から記録された185個のドーパミン細胞の活動と、同時に記録した行動データを解析に用いた。報酬である水が送出される口元のパイプへの舌なめ運動は、報酬確率が高いステップ同様、将来報酬の回数が多く期待されるステップにおいても長い持続時間を示し、動物が複数の将来報酬を期待して課題を行っていることが確かめられた。報酬期待情報を表現することが知られている、ステップ開始の合図である視覚刺激に対するドーパミン細胞の応答も複数回の報酬価値を反映し、報酬価値が高いほど高い発火頻度を示した。強化学習理論に基づいたシミュレーションの結果、将来報酬価値の割引率は、行動データから得られた値と細胞活動から得られた値とでほぼ同じであった。また、報酬予測誤差を反映することが知られている強化因子に対する応答も、複数回の報酬価値を含んだ予測誤差の値によって高い精度で推定できた。更に、課題の学習過程で記録した行動データと細胞活動を調べたところ、報酬割引率の値は学習初期で高く、後期で低かった。つまり、学習が進むにつれて、動物はより将来の報酬まで見込んで課題を行うようになり、細胞活動もそれに伴って調節されることが示唆された。以上の結果から、ドーパミン細胞は学習によって長期的な将来報酬価値と予測誤差の表現を獲得することが明らかになった。

This study focuses on the relationship between learning and volitional decision in animals and the performance of compensation information in cortex-basal nucleus circuits. 3. Select appropriate actions 1. Select appropriate actions 2. Select appropriate actions 3. Select appropriate actions 3. Select appropriate actions 4. Select appropriate actions 5. Select appropriate actions 6. Select appropriate actions 7. Select appropriate actions 7. Select appropriate actions 3. The animal records 185 of its activities, and simultaneously records its actions. The salary of the employee is the same as the salary of the employee. The salary of the employee is the same as the salary of the employee. The salary of the employee is different. The salary of the employee is different. Pay expectations are reflected in the number of times a person starts to pay, and the number of times a person starts to pay is reflected in the number of times a person pays. Reinforcement learning theory is based on the results of future pay cuts and actions. The compensation prediction error is reflected in the estimation accuracy of the multiple return compensation value. In addition, the learning process of the subject is recorded, and the activity of the cell is adjusted. The salary cut rate is high in the early stage of learning and low in the late stage.つまり、学习が进むにつれて、动物はより将来の薪酬まで见込んで课题を行うようになり、细胞活动もそれに伴って调节されることが示唆された。The above results show that the cells are learning and the performance of future pay estimates is improving.

项目成果

ドーパミン細胞は複数のステップで得られる総報酬量に基づく報酬価値とその誤差を表現する

多巴胺细胞根据多个步骤获得的奖励总量来表达奖励值及其误差

• 发表时间: 2009
• 作者: 南保正和;森進;伊丹健一郎;Daisuke Yamakawa;Daisuke Yamakawa;Daisuke Yamakawa;Daisuke Yamakawa;山川大亮;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;杉板純一郎;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;榎本一紀
• 通讯作者: 榎本一紀