内部モデルを用いた人型ロボットの歩行運動学習における戦略的行動選択

使用内部模型的人形机器人运动学习中的策略动作选择

• 批准号: 19J22987
• 负责人: 山森 聡
• 金额: $ 1.98万
• 依托单位: Kyoto University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2019
• 资助国家: 日本
• 起止时间: 2019-04-25 至 2022-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J22987/
• 关键词: 強化学習; 歩行運動学習; モデル予測制御; 確率的推論; モデル同定; 最適制御; 人型ロボット

人間レベルの運動をロボットに学習させるためには、行動を獲得する際の試行錯誤の回数を削減する必要がある。実際の環境における試行錯誤の回数を改善するために仮想環境上のモデルを活用することが本研究の目的である。本研究の特色は、ロボットが取った行動と行動の良さを示す価値の２つの間にある潜在的関係を内部モデルとして学習することにある。潜在的関係を用いて行動を獲得させることで、ロボットの学習は迅速化される。なぜなら、潜在的関係を学習することはそのままでは大きすぎて扱えない様な高次元空間を持つロボットの振る舞いを低次元空間へ圧縮する効果を持つため、より小さい空間でロボットは試行錯誤できるからである。昨年度までの成果として、ロボットが獲得したい最適な方策と内部モデルの獲得問題を確率分布の変分推論問題として捉える理論的な枠組みを構築した。 こうした、枠組みは従来の高次元でのロボットの振る舞いを、タスクを解くために十分な粒度に単純化・圧縮することができる。今年度は、提案法を実ロボットに応用することで学習を迅速化することを目標として提案手法を用いて６自由度の腕ロボットに学習をさせた。実ロボットにおける学習上の課題として、仮想環境上の物理モデルと実ロボットとの間に生じる誤差がある。提案したアルゴリズムが獲得した内部モデルはこうした誤差をより低次元で表現できる効果があるため、こうした表現上で再度学習することは実際環境と仮想環境の誤差を簡単に修正することができる。これにより仮想環境で学習した行動が実際の環境においても性能を発揮させることが期待できる。その結果、本研究の成果として異なる環境設定のもとで、ロボットが行動を獲得することが確認され、現実環境にあるロボットへの提案アルゴリズムを展開することが可能になりつつある。

The human body moves forward to learn, and the human body moves forward to learn, and the human body moves forward to learn. The purpose of this study is to improve the number of errors in the environment. The characteristics of this study are: actions, actions, good behavior, value, potential relationships, internal relationships, learning relationships, etc. The potential relationship is acquired through action and quickly transformed into learning. For example, if you want to learn from a potential relationship, you can learn from a potential relationship. If you want to learn from a potential relationship, you can learn from a potential relationship. Last year's results were obtained from the optimal solution to the internal problem of obtaining information, the distribution of information, and the construction of the theoretical framework. In addition to the above, it is also possible to reduce the particle size of the particles by increasing the particle size. This year, the proposal method is used to quickly change the purpose of the proposal. The problem of learning and the problem of thinking about the environment are caused by errors. A proposal is made to obtain an internal error from a low-dimensional performance and to learn again from an environmental error from an environmental error. This is the ideal environment for learning, for acting, for developing performance, and for expecting. The results of this study are as follows: Environmental settings, actions, confirmations, and current environmental proposals are possible.