中脳ドーパミン系による、長期的な将来報酬の価値と予測誤差の表現機構の解明

阐明中脑多巴胺系统长期未来奖励值和预测误差的表达机制

• 批准号: 08J02233
• 负责人: 榎本 一紀
• 金额: $ 0.58万
• 依托单位: Kyoto Prefectural University of Medicine
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08J02233/
• 关键词: ドーパミン; 報酬; 価値; 学習; 霊長類; 電気生理; 強化学習; 大脳基底核

本研究は、動物がゴールに向かって行動するうえで、学習や意志決定に関わっている大脳皮質-基底核回路において中心的な役割を担っているドーパミン系による報酬情報の表現が、複数回の将来報酬の価値を反映しているという仮説を明らかにすることを目的とする。ニホンザルを被験体として、報酬を得るために3つの選択肢から適切な行動を選択する、1ブロックが複数ステップの報酬獲得からなる課題を学習させ、課題遂行中のドーパミン細胞の活動を電気生理学手法を用いて記録した。3頭の動物から記録された185個のドーパミン細胞の活動と、同時に記録した行動データを解析に用いた。報酬である水が送出される口元のパイプへの舌なめ運動は、報酬確率が高いステップ同様、将来報酬の回数が多く期待されるステップにおいても長い持続時間を示し、動物が複数の将来報酬を期待して課題を行っていることが確かめられた。報酬期待情報を表現することが知られている、ステップ開始の合図である視覚刺激に対するドーパミン細胞の応答も複数回の報酬価値を反映し、報酬価値が高いほど高い発火頻度を示した。強化学習理論に基づいたシミュレーションの結果、将来報酬価値の割引率は、行動データから得られた値と細胞活動から得られた値とでほぼ同じであった。また、報酬予測誤差を反映することが知られている強化因子に対する応答も、複数回の報酬価値を含んだ予測誤差の値によって高い精度で推定できた。更に、課題の学習過程で記録した行動データと細胞活動を調べたところ、報酬割引率の値は学習初期で高く、後期で低かった。つまり、学習が進むにつれて、動物はより将来の報酬まで見込んで課題を行うようになり、細胞活動もそれに伴って調節されることが示唆された。以上の結果から、ドーパミン細胞は学習によって長期的な将来報酬価値と予測誤差の表現を獲得することが明らかになった。

In this study, animals and animals are involved in the study, and the students will decide to do so in the center of the basal nucleus loop training center. in this study, animals and animals are involved in this study, and the animals and animals in this study are responsible for the operation of the center of the basal ganglia loop, which reflects the performance of the payroll in the future. In the course of the training, the election of the elective operation, the complex number of the salary, and the physiology of the computer were used in the elections. in the course of the project, the computer physiological methods of the exercise were used in the course of the project. 3. There are 185 mobile phone activity records and simultaneous log activity analysis and analysis tools. The newspaper and remuneration system sends out the exchange rate, the high rate of reporting, the high rate of reporting, the The expectation of report and reward shows that you are not aware of the situation, and that at the beginning of the week, you will be encouraged to respond to the multiple response of the report, the report and the salary, and the high temperature of the report. To strengthen the chemical theory, the results of the experiment, the cut-off rate of future payroll, and the results of the activities of the employees are the same as those of the students. The difference between salary and reward reflects that you are aware of the intensification factor, which is the answer, and the plural reply is that the compensation contains the error, the high accuracy, the presumption of error. During the course of the course of study, there is a record of the activities of the students, the activities of the students, the rate of report and reward, which is high at the beginning of the school year and low at a later stage. In the future, students will be paid for their work in the future, and their cell activities will be treated in the same way as those in the future. As a result of the above results, the long-term performance of long-term future compensation is shown to be satisfactory.

项目成果

ドーパミン細胞は複数のステップで得られる総報酬量に基づく報酬価値とその誤差を表現する

多巴胺细胞根据多个步骤获得的奖励总量来表达奖励值及其误差

• 发表时间: 2009
• 作者: 南保正和;森進;伊丹健一郎;Daisuke Yamakawa;Daisuke Yamakawa;Daisuke Yamakawa;Daisuke Yamakawa;山川大亮;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;杉板純一郎;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;Jun-ichiro Sugisaka;榎本一紀
• 通讯作者: 榎本一紀