受動性を活用したロボットの強化学習とそのためのデータ駆動モデル構築

点击翻译按钮获取中文摘要

強化学習において，対象とするシステムに関する完全なモデルが存在する場合，その知識を利用して強化学習を大幅に効率化することが可能である．しかし，ロボットなどの対象を考える場合，完全なモデルを得られることはほとんどない．また，中途半端な知識を利用しようとすると，かえって学習効率の低下を招いてしまう．本研究では，完全なモデルが得られなくても，定性的・構造的な事前知識を利用することで学習効率を大幅に向上できるのではないか，という発想に基づいて学習の効率化を目指している．本期間においては，その第一歩として，多くの機械システムが共通して持つ特徴である受動性に着目し，受動性を保証するモデルの構造を用いたシステムの推定に関する研究を行った．受動性を構造的に保証可能なモデルとして，ポート・ハミルトンモデルが知られている．このモデルはハミルトンの運動方程式を拡張したものであり，力学系のみならず，熱流体システムや電気システムなど幅広い物理システムをこの形式のモデルで表現できる．本期間ではこのモデルの形を仮定したうえで，深層学習の手法を用いることで，受動性を満たすと期待されるシステムの推定を効率的に実施する方法を提案した．手法の有効性はロボットマニピュレータの手先位置制御に関する数値シミュレーションにより検証している．提案法による推定では，10回以下のシミュレーション結果から，制御での使用に耐えるモデルの獲得に成功した．一方，モデルの形式を指定しない方法では，同程度のパラメータ数のモデルで同程度の性能を発揮するためには数百回分のシミュレーションデータが必要であることを確認した．これらの結果は，近年注目を集めているphysics-informed neural networksの制御工学への応用に関する最初の成果の一つであると言えると考えている．