情報源に依存したマッチング行動

匹配行为取决于信息源

• 批准号: 20020027
• 负责人: 酒井 裕
• 金额: $ 1.28万
• 依托单位: Tamagawa University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research on Priority Areas
• 财政年份: 2008
• 资助国家: 日本
• 起止时间: 2008 至 2009
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20020027/
• 关键词: 神経科学; 脳・神経; 意思決定; 強化学習; 動物行動

人や動物は,実験室で人工的に設定された確率ルールで得られる報酬が決まるような環境では,しばしば,得られる報酬を最大化することに失敗し,非合理な行動を示す.このとき,しばしばマッチング則と呼ばれる行動上の法則を満たすことが知られている.本研究課題では,これまで,このようなマッチング行動に至る学習アルゴリズムに共通の原理を明らかにし,その学習戦略がもっと広い枠組の中では報酬最大化という合理性をもつことを証明した.さらにこのマッチング学習戦略を実現するようなシナプス可塑性の特性に必要な条件を明らかにしてきた.今年度は,マッチング学習戦略を実現するシナプス変化則の1例として,「強化メタ学習則」という学習則を提案し,その学習則がもつ様々な能力について検証した.Bi & Poo(1998)は,可塑性を起こす前のシナプス強度によってその後に起こる可塑性の程度が変わり,しかもその依存性がシナプス増強と抑圧で非対称となり,ある強度付近以外では,増強と抑圧が極めて不均衡であることを示している.これは,予め決まっている学習則の特性によって,ある強度に強制的に集まってくるような力を常に受けている,と解釈できる.ニューロンが入力に対する選択性を獲得するためには,同じような入力を受けているシナプスの中から特定のシナプスだけ選ばれて,その強度が強くなり,他のシナプスの強度が弱くなる必要があり,小さな差異を強調して広げていく仕組みが必要である.予め大きな力を受けている学習則では,このようなことは不可能である.本研究では提案した「強化メタ学習則」がこの問題を解決すると共に,ニューロン活動と行動上の実報酬との時間遅延をどの様にシナプス学習に反映させるか,という遅延報酬問題も解決することを示した.

は や animals, be 験 chamber set で artificial に さ れ た probabilistic ル ー ル で have ら れ should ま る が remuneration る よ う な environment で は, し ば し ば, too ら れ る reward maximize を す る こ と に し failure, not reasonable な action を す. こ の と き, し ば し ば マ ッ チ ン グ is と shout ば れ る action の law を against た す こ と が know ら れ て い る. , this research topic で は こ れ ま で, こ の よ う な マ ッ チ ン グ に action to study る ア ル ゴ リ ズ ム に の common principle を Ming ら か に し, そ study 戦 の が も っ と hiroo い 枠 group の で は reward maximize と い う rationality を も つ こ と を prove し た. さ ら に こ の マ ッ チ ン study 戦 グ を be presently す る よ う な シ ナ プ ス plasticity の Sex: に necessary: な conditions: を clear: ら ら に て て た た Our は, マ ッ チ ン study 戦 グ を be presently す る シ ナ プ ス 1 - change is の と し て, "strengthen メ タ study is" と い う learning is し を proposal, そ の learning が も つ others 々 な ability に つ い て 検 card し た. Bi & は Poo (1998), plasticity を こ す before の シ ナ プ ス strength に よ っ て そ の に up after こ る degree of plasticity の が - わ り, し か も そ の dependency が シ ナ プ ス raised strong と 圧 suppression で non said seaborne と な り, あ る strength outside paying nearly で は, raised strong と 圧 suppression が extremely め て uneven で あ る こ と を shown し て い る. こ れ は, to め definitely ま っ て い る learning is の features に よ っ て, あ に mandatory set of に ま る strength っ て く る よ う を often に な force by け て い る, と solution 釈 で き る. ニ ュ ー ロ ン が に into force す seaborne る sentaku を acquired す る た め に は, with じ よ う な を into force by け て い る シ ナ プ ス の in か ら specific の シ ナ プ ス だ け choose ば れ て, そ の strength strong が く な り, he の シ が ナ プ ス の strength weak く な る necessary が あ り, small さ な differences を emphasize し て hiroo げ て い く blackstone group み が necessary で あ る. To large め き を な force by け て い る learning で は, こ の よ う な こ と は impossible で あ る. This study で は proposal し た "strengthen メ タ study is" が こ の を solve す る と に, ニ ュ ー ロ ン activity と action の be paid と 遅 の time delay を ど の others に シ ナ プ ス learning に reflect さ せ る か, と い う 遅 delay compensation problem も す る こ と を shown し た.

项目成果

STDPの初期強度依存性問題-強化メタ学習則による解決

STDP初始强度依赖问题——通过强化元学习规则解决

• 发表时间: 2008
• 作者: Nakamura;K.;Matsumoto;M. Hikosaka;O.;Y. Sakai;Y. Sakai;荒木尚二郎
• 通讯作者: 荒木尚二郎

When does reward maximization lead to matching law?

• DOI: 10.1371/journal.pone.0003795
• 发表时间: 2008
• 期刊: PloS one
• 影响因子: 3.7
• 作者: Sakai Y;Fukai T
• 通讯作者: Fukai T

Multiple topological representation selforganized by spike-timing-dependent synaptic learning rule.

由尖峰时序依赖的突触学习规则自组织的多重拓扑表示。

• 发表时间: 2009
• 期刊: Cognitive Neurodynamics vol.3,no.1
• 作者: Sakai Y;Wada K
• 通讯作者: Wada K