Development of deep learning to reveal physical human-robot interaction and its application to safe robot control

本研究では，多自由度系のロボットとヒトとの物理的接触を安全にするための学習制御技術開発を目的としている．これに向けて2022年度では，i)人と間接的に物理的接触する課題における潜在空間の抽出，ii)環境との離散的な接触状況が切り替わる脚ロボットへの強化学習の適用，iii)Sim-to-Real技術の物理的接触を扱う実ロボットへの適用，の3項目を中心に研究を実施した．i)では，人とロープを介してインタラクションするロボットを用いた実機実験にて，人とロボットが協働でロープを動かす動作時の人の骨格データを潜在空間へと抽出する課題を実施した．周期的な時系列データであることに注目して，変分オートエンコーダに複素型リザーバコンピューティングと潜在ダイナミクスモデルを組み込んだ世界モデルを用いることで，異なる動作を容易に区別可能な潜在空間の獲得と予測精度の向上を実現した．ii)では，脚ロボットの歩行制御課題に対して，End-to-Endでダイナミクスを学習するよりも，接触状況に応じてダイナミクスを陽に分割して学習したほうが予測精度が高まることがわかった．この結果より，接触状況により変化するダイナミクスを明確に区別できる潜在空間の重要性を改めて確認した．iii)では，実世界での学習コストを軽減すべく，ドメイン乱択化・適応を統合した新しい強化学習理論を提案した．具体的には，ドメイン乱択化を多目的最適化問題として解釈することで，実環境を選好解とみなすことを理論的に保証した．この理論により，ロボットハンドによるバルブ操作スキルをシミュレーション上で学習した後に実ロボットでも即座に達成することに成功した．

本研究では，多自由度系のロボットとヒトとの物理的接触を安全にするための学習制御技術開発を目的としている．これに向けて2022年度では，i)人と間接的に物理的接触する課題における潜在空間の抽出，ii)環境との離散的な接触状況が切り替わる脚ロボットへの強化学習の適用，iii)Sim-to-Real技術の物理的接触を扱う実ロボットへの適用，の3項目を中心に研究を実施した．i)では，人とロープを介してインタラクションするロボットを用いた実機実験にて，人とロボットが協働でロープを動かす動作時の人の骨格データを潜在空間へと抽出する課題を実施した．周期的な時系列データであることに注目して，変分オートエンコーダに複素型リザーバコンピューティングと潜在ダイナミクスモデルを組み込んだ世界モデルを用いることで，異なる動作を容易に区別可能な潜在空間の獲得と予測精度の向上を実現した．ii)では，脚ロボットの歩行制御課題に対して，End-to-Endでダイナミクスを学習するよりも，接触状況に応じてダイナミクスを陽に分割して学習したほうが予測精度が高まることがわかった．この結果より，接触状況により変化するダイナミクスを明確に区別できる潜在空間の重要性を改めて確認した．iii)では，実世界での学習コストを軽減すべく，ドメイン乱択化・適応を統合した新しい強化学習理論を提案した．具体的には，ドメイン乱択化を多目的最適化問題として解釈することで，実環境を選好解とみなすことを理論的に保証した．この理論により，ロボットハンドによるバルブ操作スキルをシミュレーション上で学習した後に実ロボットでも即座に達成することに成功した．