強化学習の脳内機構

强化学习的脑机制

• 批准号: 08233206
• 负责人: 中村 清彦
• 金额: $ 1.15万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-08233206/
• 关键词: 強化学習; 神経回路; 報酬系; 大脳連合野; 並列処理

ヒトやサルなどの高等動物は学習訓練によって視覚刺激に対して数百ミリ秒の応答潜時で適切な行動をとれるようになる.これは脳内の神経回路が学習過程で適応的に変化し高速の並列情報処理回路が形成されるからであると考えられる.この神経情報処理機構とその形成機構として我々は細胞の発火潜時競争機構と連合結合の強化機構の仮説を提唱してきた.本年度は,視覚刺激を提示された無麻酔サルの側頭葉細胞応答がこの仮説の下で説明できることを示した.結果:(1)視覚刺激に対するサル上側頭溝の細胞応答を側頭葉腹側路の解剖学生理学データに基づく神経回路モデルで再現した.すなわちモデルの上側頭溝の細胞応答はサルのそれと同様に反応開始後5ミリ秒で異なる刺激に対して有意な差を示した.(2)この上側頭溝細胞の高速識別能力は細胞の発火潜時の差による競争機構で実現されており,この競争は学習によって皮質回路内に形成された強化経路に沿って働くことをモデル上で示した.(3)この機構が働くとすると強い反応を出す細胞ほど短い潜時で発火しなければならない.この予想はサルの実験データとモデルシミュレーションの両方で裏付けられた.(4)サル側頭連合野の細胞の平均発火頻度は数十ヘルツである.モデルはこのレンジの細胞発火頻度で上側頭溝細胞での刺激識別能を再現した.これらから,大脳皮質における数百ミリ秒の高速情報処理は学習強化された経路に沿った細胞の発火潜時の差による競争機構で実現されているとする仮説の妥当性が示された.

ヒ ト や サ ル な ど の higher animals は training に よ っ て 覚 stimulation に し seaborne て hundreds of ミ リ seconds の 応 a snorkeling で appropriate な action を と れ る よ う に な る. こ れ は 脳 の within god 経 に が で optimum 応 learning process in the loop - the し high-speed の tied for intelligence 処 Richard loop が form さ れ る か ら で あ る と exam え ら れ る. こ の god 経 intelligence 処 manage institution と そ の The forming mechanism と て て I 々 と cell <s:1> firing latent competition mechanism と combination and binding <s:1> strengthening mechanism 仮 仮 theory を singing mechanism て た た た. This year は 覚 stimulation を prompt さ れ た no hemp 酔 サ ル の side head leaf cells 応 answer が こ の の 仮 said the で で explanation き る こ と を shown し た. Results: (1) 覚 stimulation に す seaborne る サ ル upper head ditch の cells 応 answer を side lobe ventral road の anatomy physiology デ ー タ に base づ く god 経 loop モ デ ル で reappearance し た. す な わ ち モ デ ル の upper head ditch の cells 応 answer は サ ル の そ れ と with others に anti 応 began five ミ リ seconds で different な る stimulus に し seaborne て intentionally な poor を shown し た. (2) こ の Side of the head ditch cells の high-speed recognition は cells の 発 fire poor snorkeling の に よ る competition agencies で be presently さ れ て お り, こ の competition は learning に よ っ て cortical circuits に form さ れ た strengthening に 経 road along the っ て 働 く こ と を モ デ で shown on ル し た. (3) こ の institutions が 働 く と す る と い reverse 応 を す cell ほ ど short い snorkeling で 発 fire し な け れ ば な ら な い. こ の to think は サ ル の be 験 デ ー タ と モ デ ル シ ミ ュ レ ー シ ョ ン の struck in pay party で け ら れ た. (4) サ ル side head commissure wild の cell average の 発 fire frequency は dozens ヘ ル ツ で あ る. モ デ ル は こ の レ ン ジ の cells 発 fire frequency で head upper groove で の stimulation can identify を reappearance し た. こ れ ら か ら, big 脳 cortex に お け る Hundreds of ミ リ seconds の high-speed intelligence 処 reason は study strengthening さ れ た に 経 road along the っ た cells の 発 fire poor snorkeling の に よ る competition agencies で be presently さ れ て い る と す る 仮 said の justice が shown さ れ た.

项目成果

中村清彦: "発火潜時競争機構のサル側頭葉細胞応答による検証" 電子情報通信学会技術研究報告. NC95・599. 209-214 (1996)

Kiyohiko Nakamura：“利用猴子颞叶细胞反应验证放电潜伏期竞争机制” IEICE 技术报告 209-214 (1996)。