权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

強化学習の脳内機構

强化学习的脑机制

基本信息

批准号：
07243205
负责人：
中村清彦
金额：
$ 0.58万
依托单位：
The University of Electro-Communications
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research on Priority Areas
财政年份：
1995
资助国家：
日本
起止时间：
1995 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-07243205/
关键词：
強化学習視床下部運動野神経回路試行錯誤報酬系

项目摘要

動物は試行錯誤によって未知の外界から報酬を得る方法を学習できる.この学習能力が実現されるためには次の2つの機能が必要である.(1)多様な試行を生成する機能.(2)試行の中から報酬に基づいて正しい行動を見出せる機能.本研究は,これらの機能がそれぞれ大脳皮質運動野-視床系と大脳新皮質-視床下部系の神経回路によって実現されているとする仮説を提示し,その妥当性を上記の系の神経回路モデルで検証した.まず,これらの系に関する神経生理学・解剖学データを収集しそれらに忠実な数理神経回路モデルを構築し,以下の結果を得た.(1)このモデルの計算機シミュレーションにより,運動系が生成可能な行動パタンのうちの90%以上を大脳皮質運動野-視床系の挙動が生成できることを示した.(2)上記の2つの系を統合した神経回路は試行錯誤の繰り返しによって感覚刺激に対応した報酬行動を採るようになることを上記の数理神経回路モデル上でいくつかの条件の下に解析的に証明した.(3)上記2つの系を統合した系の神経回路モデルのシミュレーションを行い証明結果を再現した.これはシミュレーションで用いた細胞数などの生理学解剖学データの基づく条件が(2)で導入した条件を満たしていることを示唆するものである.さらに,このシミュレーションは学習成立後の大脳皮質神経回路が数百ミリ秒で適切な行動を発現できる高速並列演算機構として働くことを示した.これらから,大脳新皮質-視床-視床下部系の神経回路が試行錯誤による学習機能を実現しているとする仮説の妥当性が示唆された.

Animals try to make mistakes, unknown outside world, pay, and learn. This learning ability is necessary. (1)Multiple-sample trial generation function. (2)Try out the function of salary base and action. This study suggests that the function of the system is related to the neurologic circuit of the motor field-optic bed system and the neocortex-optic bed system, and the appropriateness of the system is related to the neurologic circuit. The following results were obtained from the collection of neurophysiological and anatomical data related to this system and the construction of mathematical neurologic circuits. (1)More than 90% of the motion system generated by the computer system is likely to move. (2)The above two systems are integrated into the neural loop, and the trial error is returned to the sensory stimulus, and the compensation action is taken. The mathematical neural loop above is analyzed and proved under the above conditions. (3)2. The system integration and the system of neural circuits are described above. The number of cells used in this study, the physiological anatomy of the cells, and the basic conditions for the introduction of these cells are as follows: (2) The introduction conditions are as follows: In this case, the system is designed to learn how to create a high-speed parallel computing mechanism that can operate in hundreds of seconds after the establishment of the cortical circuit. The neural circuit of the large neocortex-optic bed-optic bed system is not correct for trial and error, and the learning function is not correct for trial and error.