多様なタスクに適用可能なサンプル効率の良い深層強化学習と実ロボットへの応用

点击翻译按钮获取中文摘要

本研究の目的は，深層強化学習を実ロボットタスク適用する時に必要な学習環境を自動で設計することである．本年度の研究は深層強化学習の方策が選択した行動を評価する報酬関数の自動設計について取り組んだ．報酬関数の自動設計では，人間から収集したゴール状態ラベルと不完全なデモンストレーションから方策のタスク達成率の高くなる報酬関数を学習する手法について検討し，実際のロボットによる衣類操作タスクを通して有効性を確認することができた．具体的には，デモンストレーションから報酬関数とロボット方策を同時に学習する敵対的模倣学習をベースに，デモンストレーションを模倣しつつゴール状態を目指す方策を学習する手法を提案した．シミュレーション実験では，不完全さが異なるデモンストレーションを用意し，提案手法が不完全なデモンストレーションを上回る方策を学習できることを確認した．実際のロボットによる実験では，提案手法を衣類折り畳みタスクに適用し性能を評価した．この実験では報酬関数設計が困難なシャツ・ズボン等の衣類折り畳みタスクに適用し，人手による報酬関数設計なしに方策を学習可能であること，比較手法よりもタスク成功率が50%改善されること実験的に確認した．これらの研究成果を論文にまとめ，2021年度初めに国際雑誌に投稿する予定である．この研究と並行して，人間がロボットを直観的に操作可能な操作システムを開発した．操作者はヘッドマウントディスプレイを装着し操作対象の双腕ロボットと同じ視点を観測できる．操作方法は，操作者が手に持つコントローラとロボット手先座標を同期させ，直観的に双腕ロボットを操作できる．このシステムを用いた操作実験では，シャツやズボン，ハンカチ等の衣類操作デモンストレーションに成功した．