内部モデルを用いた人型ロボットの歩行運動学習における戦略的行動選択

人間レベルの運動をロボットに学習させるためには、行動を獲得する際の試行錯誤の回数を削減する必要がある。実際の環境における試行錯誤の回数を改善するために仮想環境上のモデルを活用することが本研究の目的である。本研究の特色は、ロボットが取った行動と行動の良さを示す価値の２つの間にある潜在的関係を内部モデルとして学習することにある。潜在的関係を用いて行動を獲得させることで、ロボットの学習は迅速化される。なぜなら、潜在的関係を学習することはそのままでは大きすぎて扱えない様な高次元空間を持つロボットの振る舞いを低次元空間へ圧縮する効果を持つため、より小さい空間でロボットは試行錯誤できるからである。昨年度までの成果として、ロボットが獲得したい最適な方策と内部モデルの獲得問題を確率分布の変分推論問題として捉える理論的な枠組みを構築した。 こうした、枠組みは従来の高次元でのロボットの振る舞いを、タスクを解くために十分な粒度に単純化・圧縮することができる。今年度は、提案法を実ロボットに応用することで学習を迅速化することを目標として提案手法を用いて６自由度の腕ロボットに学習をさせた。実ロボットにおける学習上の課題として、仮想環境上の物理モデルと実ロボットとの間に生じる誤差がある。提案したアルゴリズムが獲得した内部モデルはこうした誤差をより低次元で表現できる効果があるため、こうした表現上で再度学習することは実際環境と仮想環境の誤差を簡単に修正することができる。これにより仮想環境で学習した行動が実際の環境においても性能を発揮させることが期待できる。その結果、本研究の成果として異なる環境設定のもとで、ロボットが行動を獲得することが確認され、現実環境にあるロボットへの提案アルゴリズムを展開することが可能になりつつある。

人間レベルの運動をロボットに学習させるためには、行動を獲得する際の試行錯誤の回数を削減する必要がある。実際の環境における試行錯誤の回数を改善するために仮想環境上のモデルを活用することが本研究の目的である。本研究の特色は、ロボットが取った行動と行動の良さを示す価値の２つの間にある潜在的関係を内部モデルとして学習することにある。潜在的関係を用いて行動を獲得させることで、ロボットの学習は迅速化される。なぜなら、潜在的関係を学習することはそのままでは大きすぎて扱えない様な高次元空間を持つロボットの振る舞いを低次元空間へ圧縮する効果を持つため、より小さい空間でロボットは試行錯誤できるからである。昨年度までの成果として、ロボットが獲得したい最適な方策と内部モデルの獲得問題を確率分布の変分推論問題として捉える理論的な枠組みを構築した。 こうした、枠組みは従来の高次元でのロボットの振る舞いを、タスクを解くために十分な粒度に単純化・圧縮することができる。今年度は、提案法を実ロボットに応用することで学習を迅速化することを目標として提案手法を用いて６自由度の腕ロボットに学習をさせた。実ロボットにおける学習上の課題として、仮想環境上の物理モデルと実ロボットとの間に生じる誤差がある。提案したアルゴリズムが獲得した内部モデルはこうした誤差をより低次元で表現できる効果があるため、こうした表現上で再度学習することは実際環境と仮想環境の誤差を簡単に修正することができる。これにより仮想環境で学習した行動が実際の環境においても性能を発揮させることが期待できる。その結果、本研究の成果として異なる環境設定のもとで、ロボットが行動を獲得することが確認され、現実環境にあるロボットへの提案アルゴリズムを展開することが可能になりつつある。