安定解空間内強化学習法の提案と多重連結型ロボットの走行制御への適用

稳定解空间强化学习方法的提出及其在多连接机器人行走控制中的应用

• 批准号: 07750288
• 负责人: 田中 一男
• 金额: $ 0.64万
• 依托单位: Kanazawa University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1995
• 资助国家: 日本
• 起止时间: 1995 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-07750288/
• 关键词: 強化学習法; 多重連結型ロボット; ロバスト安定性; 走行制御; 非線形システム

本研究では、(1)強化学習による制御ルールの発見、(2)多重連結型ロボットの作製と制御システムの構築、(3)制御系のロバスト安定解析、の3項目を実現し、多重連結型ロボットの走行制御を行った。申請者は多重連結型ロボットの簡易なものであるトレーラ・トレック(スモ-ルスケールの模型)を用いた制御システムの構築(1994)を前段階として行っていたが、ここで開発された制御システムでは以下の問題点が存在した。(1)CCDカメラを用いて位置検出を行っているが、ほとんどがソフトウェアで処理しているためその速度が遅い。とくに、複数の運搬専用ロボットが存在すると、その数だけ位置情報の検出が必要になり、より高速な画像処理が要求される。(2)CCDカメラはロボットとは別の場所(天井)に固定されているため、実際の作業を行わせるときに不都合である。これらの問題点を改善することにより、制御システムの構築を行った。また、本研究では、強化学習により、一部の制御ルールを獲得するアルゴリズムを構築した。具体的には、有効な制御を実現するために、ロバスト安定条件を満足する解空間を求め、この空間内での制限付き強化学習法を提案した。解空間を求める場合、3つの安定条件を用意し、段階的にその条件を緩めることのよって解空間の拡大を試みた。ロバスト安定条件を満足する解空間を導く場合、この制御システムが非線形であるので線形のロバスト安定論を適用できない。申請者は非線形の制御対象に対して、sector nonlinearity(SN)の概念を適用した安定解析の一手法(1993)を提案してはいるが、多重連結型ロボットのモデル化時の誤差を考慮する必要があるため、その方法をそのまま適用することもできなかった。本研究では、そのSNの概念を拡張し、ロバストな安定条件を導くことに成功した。

This study includes: (1) the discovery of reinforcement learning control system;(2) the construction of multi-link control system;(3) the stability analysis of control system;(4) the realization of three items; and (5) the implementation of multi-link control system. The following problems exist in the construction of a control system for the application of a simple multi-link model (1994). (1)CCD camera is used to detect the position of the camera. For example, if a plurality of images are moved, the number of images is required. (2)CCD The problem points are improved, and the system construction is implemented. In this study, reinforcement learning was conducted to construct a framework for the acquisition of a part of the system. The specific method of reinforcement learning is proposed, which is based on the analysis of the solution space and the control of the stability condition. The solution space is the case, the stability condition is the intention, the condition of the stage is the relaxation condition, the solution space is the big test condition The stability conditions are sufficient to solve the space guidance situation, the control system is non-linear, and the linear stability theory is applicable The applicant proposed a method for stability analysis (1993) based on the concept of nonlinear object control and sector nonlinearity(SN). This study was successful in explaining the concept of SN and its stability conditions.

项目成果

田中一男: "多重連結型移動ロボットの後退制御のための知的制御規則の設計" SICEシステム情報関連合同シンポジウム講演論文集. 1. 151-158 (1995)

Kazuo Tanaka：“多连接移动机器人后向控制的智能控制规则设计”SICE系统信息联合研讨会论文集。1. 151-158 (1995)。

田中一男: "遺伝子操作による非線形制御器の安定進化" 第5回インテリジェントシステムシンポジウム講演論文集. 1. 349-354 (1995)

Kazuo Tanaka：“通过遗传操纵实现非线性控制器的稳定演化”第五届智能系统研讨会论文集 1. 349-354 (1995)。

Kazuo TANAKA: "Genetic Tuning with Concept of Stabilizable Chromosomes in Nonlinear Control" Proc. of IEEE Int. Conf. on Evolutionary Computation. 1. 334-339 (1995)

Kazuo TANAKA：“非线性控制中稳定染色体概念的遗传调节”Proc。