Study on Decentralized Learning Algorithms in Markovian Environments

马尔可夫环境下的分散学习算法研究

• 批准号: 06650449
• 负责人: ABE Kenichi
• 金额: $ 1.34万
• 依托单位: Tohoku University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (C)
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 1995
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-06650449/
• 关键词: DECENTRALIZED LEARNING; LEARNING AUTOMATON; MARKOV MODEL; Q-LEARNING; マルコフ・モデル; ホロンネットワーク

The results of this study are summarized as follows :(1) We proposed a new decentralized learning algorithm for Markov chains with unknown dynamics. A detailed simulation study revealed the feasibility of our algorithm and its superiority to the Q-learning scheme.(2) We proposed an object-oriented design support system for developing autonomous mobile robots. The usefulness of our support system was examined through some implementations of simulated and real robots. By using this support system, we also developed a robot which can acquire a proper setting of gain factors in an obstacle avoidance algorithm, called the VFH,by learning.(3) We applied the decentralized learning algorithm to the problem of adaptive action selection in an intelligent mobile robot. We employed a robot which has two photosensors to measure the light intensity in right or left direction. The robot's task is to learn an action selection policy for moving toward and getting to a light placed in any location of a room. The decentralized learning approach was successfully tested by running simulated robots, which were implemented by the object-oriented design support system.(4) We proposed a class of hierarchical systems called holon networks as general models for identification of nonlinear dynamical systems. Holon networks are able to evolve by self-organizing their structure and learn nonlinear systems without assuming much knowledge of them.

本研究的主要成果如下：(1)针对未知动态的马尔可夫链，提出了一种新的分散学习算法。详细的仿真研究表明了该算法的可行性及其相对于q -学习方案的优越性。(2)提出了面向对象的自主移动机器人开发设计支持系统。通过模拟和真实机器人的一些实现来检验我们的支持系统的实用性。利用该支撑系统，我们还开发了一种机器人，该机器人可以通过学习获得避障算法中适当的增益因子设置，称为VFH。(3)将分散学习算法应用于智能移动机器人的自适应动作选择问题。我们使用了一个机器人，它有两个光传感器来测量左右方向的光强度。机器人的任务是学习一种动作选择策略，以便移动到放置在房间任何位置的灯处。通过运行仿真机器人，对分散学习方法进行了验证，并由面向对象的设计支持系统实现。(4)提出了一类称为全息网络的分层系统作为非线性动力系统辨识的一般模型。Holon网络能够通过自组织其结构来进化，并且无需假设对非线性系统有太多的了解就可以学习非线性系统。

项目成果

釜谷博行: "学習オートマトンによる移動ロボットナビゲ-タのパラメータ自動調整" 電気学会論文誌. 115-C. 1570-1571 (1995)

Hiroyuki Kamaya：“使用学习自动机自动调整移动机器人导航器”，日本电气工程师学会汇刊 115-C 1570-1571 (1995)。

N.Honma: "On Autonomous Decentralized Evolution of Holon Network" Proc.of The 9th KACC Int'l Session. 498-503 (1994)

N.Honma：“论 Holon 网络的自主去中心化演化”第 9 届 KACC 国际会议议程。

H.Honma: "Adaptive Evolution of Holon Networks by an Autonomous Decentralizes Method" International Symposium on Artificial Life. (1996)

H.Honma：“通过自主分散方法实现 Holon 网络的自适应进化”国际人工生命研讨会。

本間経康: "自律分散的適応制御によるホロンネットワークの進化について" 計測自動制御学会論文集. 31(印刷中). (1995)

Tsuneyasu Honma：“论通过自主分散自适应控制的全子网络的演化”，仪器与控制工程师学会汇刊 31（出版中）。

釜谷 博行: "オブジェクト指向設計に基づいた自律型移動ロボットの開発支援システム" 電気学会論文誌. 115-C. 819-828 (1995)

Hiroyuki Kamaya：“基于面向对象设计的自主移动机器人的开发支持系统”日本电气工程师学会汇刊 115-C 819-828（1995）。