強化学習の脳内機構

点击翻译按钮获取中文摘要

ヒトやサルなどの高等動物は学習訓練によって視覚刺激に対して数百ミリ秒の応答潜時で適切な行動をとれるようになる.これは脳内の神経回路が学習過程で適応的に変化し高速の並列情報処理回路が形成されるからであると考えられる.この神経情報処理機構とその形成機構として我々は細胞の発火潜時競争機構と連合結合の強化機構の仮説を提唱してきた.本年度は,視覚刺激を提示された無麻酔サルの側頭葉細胞応答がこの仮説の下で説明できることを示した.結果:(1)視覚刺激に対するサル上側頭溝の細胞応答を側頭葉腹側路の解剖学生理学データに基づく神経回路モデルで再現した.すなわちモデルの上側頭溝の細胞応答はサルのそれと同様に反応開始後5ミリ秒で異なる刺激に対して有意な差を示した.(2)この上側頭溝細胞の高速識別能力は細胞の発火潜時の差による競争機構で実現されており,この競争は学習によって皮質回路内に形成された強化経路に沿って働くことをモデル上で示した.(3)この機構が働くとすると強い反応を出す細胞ほど短い潜時で発火しなければならない.この予想はサルの実験データとモデルシミュレーションの両方で裏付けられた.(4)サル側頭連合野の細胞の平均発火頻度は数十ヘルツである.モデルはこのレンジの細胞発火頻度で上側頭溝細胞での刺激識別能を再現した.これらから,大脳皮質における数百ミリ秒の高速情報処理は学習強化された経路に沿った細胞の発火潜時の差による競争機構で実現されているとする仮説の妥当性が示された.