計算論と実験検証の統合による皮質・基低屋ループにおける実時間機構

结合计算理论和实验验证的皮质和基底环路实时机制

• 批准号: 17021057
• 负责人: 鮫島 和行
• 金额: $ 1.79万
• 依托单位: Tamagawa University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-17021057/
• 关键词: 大脳基底核; 強化学習; 線条体; 意思決定; 細胞外電気記録; 行動価値; 脳の計算論的モデル; サル

沖縄大学院大学・銅谷賢治氏、京都府立医科大学・上田康雅助手、木村實教授と共同で、選択肢ごとのメリットを表現する神経細胞が大脳基底核・線条体にあることを発見した。行動を選択するとき、過去に経験した行動と結果により各行動のメリット(行動価値)を学習し、それを比較しながら選択を行っている。このような報酬の経験による行動価値の学習と意思決定の脳内プロセスを調べるために、自由に行動を選択する課題を学習中のサルの線条体から細胞外電気記録を行った。サルがスティックを左または右に倒す行動の選択肢からいずれかを自由に選ぶと1割、5割、または9割の確率で報酬が得られる。何十回かの試行錯誤の後、左倒しが右倒しよりも報酬確率が高ければ、サルは次第に左倒しを選ぶようになった。スティックを倒す前の1秒間の線条体の神経細胞の活動を調べると、ある細胞は左倒しに対する報酬の確率を1割から9割に増やすにつれて応答が強くなった。一方、左倒しに対する報酬の確率を5割に固定したまま、右倒しに対する報酬を変化させると、行動は左倒しから右倒しに変化するにもかかわらず、神経細胞の活動の強さは変化しなかった。つまり、この神経細胞の行動前の活動は左倒しに対する行動価値を表現している。報酬や失敗の経験から、行動価値を学習し、それを元に行動を確率的に選択するプロセスは「強化学習」と呼ばれる理論によって定式化できる。この理論での学習式の解をサルの行動と報酬の経験から求めることで、サルの次の行動を予測することができた。さらに、線条体の神経活動は、強化学習の学習式で求められるそれぞれの「行動価値」に対応する変数と相関していることが明らかになった。以上の結果は、報酬や失敗を通して複数の選択肢から価値の高い行動を選択するプロセスに、大脳基底核の線条体の神経細胞が深く関わっていることを示唆している。

Kenji Tsutani, Kyoto Prefectural Medical University, Assistant Yasuya Ueda, Professor Minoru Kimura, and other researchers jointly examined the expression of neurons in the basal ganglia of the brain. Action, past action, results, learning, comparison, etc. The study of salary, behavior, and rational decision-making is based on the study of extracellular electrical activity. The left and right sides of the support station can be selected from the left and right sides, and the right side can be freely selected from the left and right sides. The salary can be obtained at an accurate rate of 1 cut, 5 cuts, or 9 cuts. He Shihui tried to make mistakes, left and right, and the salary accuracy rate was high, and left and right were selected The activity of the neurons in the linear body during the first second of the first day of the first month of the first month of One side, left side, right side, right The activity before the action of the neuron is reversed and the activity before the action is reversed. The selection of options based on the theory of "reinforcement learning" and "call for failure", the value of action for learning, and the efficiency of action for all parties are formalized. The theory of the solution to the problem of pay and compensation, the prediction of pay and compensation The mental activity of the linear body is related to the learning style of reinforcement learning. These results indicate that the brain cells of the basal ganglia of the brain are deeply involved in the process of selection and selection.

项目成果

Representation of action-specific reward values in the striatum

• DOI: 10.1126/science.1115270
• 发表时间: 2005-11-25
• 期刊: SCIENCE
• 影响因子: 56.9
• 作者: Samejima, K;Ueda, Y;Kimura, M
• 通讯作者: Kimura, M