A study of modular models of decision making in uncertain and non-stationary environments

不确定非平稳环境下决策的模块化模型研究

• 批准号: 21300113
• 负责人: ISHII Shin
• 金额: $ 11.56万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (B)
• 财政年份: 2009
• 资助国家: 日本
• 起止时间: 2009 至 2011
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21300113/
• 关键词: 強化学習; モジュールアーキテクチャ; 計算論的神経科学; ロボット; 非侵襲脳計測

We have developed statistical learning models, with a particular interest in reinforcement learning(RL), which can perform decision making in uncertain and even non-stationary environments. We have derived an RL method in which value function represented by a module structure can be online and efficiently approximated by adding new modules in an incremental fashion, and an optimal learning procedure of the value function based on the framework of semi-parametric statistics. As an application, we have succeeded in automatic control of non-holonomic systems by means of a policy-based RL method. In the human brain, we have found module-like structures which are activated when inferring a hierarchical inference task. Moreover, we have succeeded in decoding inference process based on the subject's behaviors and MRI scanned images.

我们开发了统计学习模型，特别关注强化学习（RL），它可以在不确定甚至非平稳环境中进行决策。我们已经推导出一种RL方法，在该方法中，由模块结构表示的值函数可以通过以增量方式添加新模块来在线有效地近似，并且基于半参数统计框架的值函数的最优学习过程。作为一个应用，我们已经成功地在非完整系统的自动控制的基于策略的RL方法。在人类大脑中，我们发现了类似模块的结构，这些结构在推理分层推理任务时被激活。此外，我们已经成功地解码推理过程的基础上的主题的行为和MRI扫描图像。

项目成果

ネットワーク社会のブレインマシンインターフェース.(社)電子情報通信学会

网络社会脑机接口。电子、信息和通信工程师研究所。

• 发表时间: 2011
• 作者: Iwatsuki M;Mimori K;Sato T;Toh H;Yokobori T;Tanaka F;Ishikawa K;Baba H;Mori M;石井信
• 通讯作者: 石井信

Robust approximation in decomposed reinforcement learning

分解强化学习中的鲁棒逼近

• 发表时间: 2009
• 作者: T.Mori;S.Ishii
• 通讯作者: S.Ishii

Asymptotic analys of value prediction in well-specified and misspecified models

明确指定和错误指定模型中价值预测的渐近分析

• 期刊: Neural Networks
• 影响因子: 7.8
• 作者: T.Ueno;S.Maeda;S.Ishii
• 通讯作者: S.Ishii

科学, 80(12),分担執筆

科学，80(12)，贡献者

• 发表时间: 2010
• 作者: Y. Yasaka;C. Wakai;N. Matubayasi;and M. Nakahara;大隅典子;石井信
• 通讯作者: 石井信

An Additive Reinforcement Learning

• DOI: 10.1007/978-3-642-04274-4_63
• 发表时间: 2009-09
• 作者: Takeshi Mori;S. Ishii