強化学習エージェントのための生態学的ニッチ固有の制約構造を活用した状態分割法

利用生态位特定约束结构的强化学习代理的状态划分方法

• 批准号: 15700159
• 负责人: 半田 久志
• 金额: $ 1.6万
• 依托单位: Okayama University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2003
• 资助国家: 日本
• 起止时间: 2003 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-15700159/
• 关键词: 強化学習; 状態分割法; Reinforcement Learning; Anticipatory Behavior; Autonomous Robots; State Space Construction; Growing Neural Gas Neural Networks

近年,ニューラルネットや強化学習,進化計算のような学習機構を取り入れた自律移動ロボットに関する研究が盛んである.しかしながら,現状では,たとえ高性能な学習機構を取り入れていても,地面のすべりや背景といった環境特有の情報,エージェントのアクチュエータやセンサの特性といった生態学的ニッチ固有の制約構造を巧く活用しないとロボットは全く機能しない.本研究では,自律的に知覚・行動を行う強化学習エージェントに対して与えられた生態学的ニッチ固有の制約構造を活用するための状態分割法を提案しその有用性を示した.提案手法では,知覚-行動-知覚という系列について,状態分割の整合性を検査し,矛盾が検出されるたびにさらなる分割を生じることによりその矛盾解消を試みる.すなわち,ある時刻における知覚入力に対して状態を割り当てるような状態分割器を考える.そして,行動を行った結果として生じる知覚入力を状態分割器に与え,状態を得る.系列をエージェントが行動するたびに蓄えていき,矛盾検出とその解消を行う.提案手法では、階層的な情報処理による状態分割を行うメカニズムを有し、階層は情報の縮約を、上位層は階層で縮約を行ったニューロンが発火した際に、次時刻ではどのような知覚変化を引き起こすかを予測している。この予測の精度にもとづいて状態分割を構成している。本年度は、この研究課題で新たに提案を行った上記の状態分割法について、車の山登り問題へ適用した研究について2004年7月にブダペストで行われたIJCNN04にて成果発表を行った。また状態だけではなく行動の分節化を行うようなアルゴリズムの拡張について検討した。

In recent years, there has been a great deal of research and development in the field of science and technology, and the institutions of science and technology have been enrolled in the field of self-regulation. The equipment, etc. In this study, self-disciplined knowledge practice reinforces the inherent rules and regulations of medical science and health science. The proposed method of state division is useful. The modus operandi of the proposal is not correct, the series of knowledge-action-knowledge strategies, the status division, the integration strategy, the conflict resolution, the resolution of the contradiction and the resolution of the contradiction. Please make sure that you are aware of the status of the splitter at all times. The operation results show that the students are aware of the status of the separator and the status of the splitter. A series of actions have resulted in the accumulation of conflicts and conflicts in the resolution of conflicts. The modus operandi of the proposal, the information of the proposal, the agreement of the proposal, the negotiation of the proposal, the transaction of the proposal, the negotiation of the agreement, the negotiation of the In order to improve the precision, the state of the state is divided into several parts. This year, we proposed a new proposal for this year's research project. This year, we proposed that the state division method and the mountain climbing problem should be studied in July 2004. in July 2004, we would like to make a report on the IJCNN04 results table. The status of the operation is related to the division of the bank, and the bank.

项目成果

Hisashi HANDA: "State Space Construction of Reinforcement Learning Agents Based upon Anticipated Sensory Changes"International Joint Conference on Neural Networks. (採録決定). (2004)

Hisashi HANDA：“基于预期感官变化的强化学习代理的状态空间构建”神经网络国际联合会议（已接受）。