報酬に基づく行動学習の計算論的モデルの確立と脳内メカニズムの解明

基于奖励的行为学习计算模型的建立和大脑机制的阐明

• 批准号: 07J10184
• 负责人: 川脇 沙織 (田中 沙織)
• 金额: $ 1.47万
• 依托单位: Osaka University (2008)Advanced Telecommunications Research Institute International (2007)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2007
• 资助国家: 日本
• 起止时间: 2007 至 2008
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-07J10184/
• 关键词: fMRI; 報酬; セロトニン; 強化学習; 大脳基底核; ニューロエコノミクス

皮質-大脳基底核ループにおいて強化学習に基づいた行動学習・行動選択が行われており,脳幹から脳の各部に投射するドーパミンやセロトニンなどの「神経修飾物質系」がメタパラメタを調節する機能を担うという「メタ学習仮説」に基づき,ヒトを対象とする脳機能計測を用い,行動学習に関わる脳内メカニズム解明をおこなった.セロトニン操作下における報酬予測課題時の行動データ解析により,セロトニンレベルが低下していると,人は即時的な報酬予測を行うことを明らかにした論文を,神経科学の分野で代表的な査読付論文誌であるJournal of Neuroscienceに発表した(学会誌への発表2).また,カリフォルニア工科大学のJohn O'Doherty博士の下で,3テスラの機能的磁気共鳴画像法(fMRI)装置を用いた実験のデータ解析を行い,報酬を得るための行動がどのように生成されるかという,より汎用的な学習の脳内機構を調べたもので,被験者が環境から得られる報酬と自分の行動の間に因果関係があると感じた度合いによって,内側前頭前野が強く活動するという結果が得られた,この実験結果も,立て続けにJournal of Neuroscienceに発表した(学会誌への発表(1)).また,報酬予測と学習(記憶)の時間スケールの類似点から,時間遅れのある報酬に基づく過去の行動の学習メカニズムを調べるためのfMRI実験を14人の被験者に対して行い,現在データ解析中である.このように,本年度は,脳の中で実装されていると考えられる,柔軟な学習機構を明らかにするためにさまざまな学習システムを仮定し,それらにかかわる脳内機構をfMRI実験で明らかにすることができた.

The operation of the basic training system of the basal nucleus of the skin is reinforced by the operation of the computer, and all departments are responsible for the projection of the computer, the computer, the computer. In the course of action, you will be able to explain the information in the system. During the operation, you will be compensated for the measurement of your salary. You will be able to pay your salary for a lower level of compensation. You will be paid immediately. You will be paid immediately. You will be informed that you will be rewarded. You will be represented by the journal of science and technology. The Journal of Neuroscience table will be published (Table 2). Dr. John O'Doherty of the University of Engineering is required to use the magnetic resonance imaging (fMRI) device to analyze the performance of the computer. The system is used to analyze the operation of the computer, and the information is generated. The recipient was awarded the salary of the recipient in the environment, and the salary of the recipient was independent of the cause and effect of the activity. the results of the previous activities were successful, and the results were good, and the Journal of Neuroscience table was established (academic journal chart (1)). In the past two years, the salary of 14 people who have been injured in fMRI is now in the process of analysis. This year, in the middle of the year, the information system is designed to improve the performance of the examine. the Institute of flexible Learning has made it clear that the system is responsible for the health of the enterprise. this year, in the current year, this year, in the current year, the Institute of flexible Education Institute has made clear that it is necessary to improve the quality of the system.

项目成果

Low-Serotonin Levels Increase Delayed Reward Discounting in Humans

• DOI: 10.1523/jneurosci.4982-07.2008
• 发表时间: 2008-04
• 期刊: The Journal of Neuroscience
• 作者: N. Schweighofer;M. Bertin;K. Shishida;Y. Okamoto;Saori C. Tanaka;S. Yamawaki;K. Doya

Calculating Consequences: Brain Systems That Encode the Causal Effects of Actions

• DOI: 10.1523/jneurosci.1808-08.2008
• 发表时间: 2008-06
• 期刊: The Journal of Neuroscience
• 作者: Saori Tanaka;B. Balleine;J. O’Doherty

ブレイン・デコーディング 脳情報を読む「現在の得か?将来の得か?理性と衝動性の脳内メカニズム」

大脑解码：读取大脑信息“当前增益？未来增益？大脑的理性和冲动机制”

• 发表时间: 2008
• 作者: Schweighofer N;Bertin M;Shishida K;Okamoto Y;Tanaka SC;Yamawaki S;Doya K;Tanaka SC;田中沙織(岩田誠/編集 河村満/編集);田中沙織(脳を活かす研究会編)
• 通讯作者: 田中沙織(脳を活かす研究会編)

急がば廻れ:報酬予測のメカニズム

快点转身：奖励预测机制

• 发表时间: 2009
• 期刊: 神経心理学 25(1)(発行予定)
• 作者: Yuhsuke Ohmi;et al;田中沙織
• 通讯作者: 田中沙織

遅延を伴う報酬予測の脳機構の解明-強化学習モデルに基づくfMRIデータの解析-

阐明延迟奖励预测的大脑机制-基于强化学习模型的fMRI数据分析-

• 发表时间: 2009
• 期刊: システム/制御/情報 53(4)(発行予定)
• 作者: Yuhsuke Ohmi;et al;田中沙織;田中沙織
• 通讯作者: 田中沙織