Reward extrapolation for imitation learning from a dissimilar agent

点击翻译按钮获取中文摘要

本研究課題では，ロボットなどの身体をもつ学習主体を想定した，自身と異なる身体をもつ他者の動作の観測に基づく模倣学習手法の開発を目的としている．2022年度は，主に3つのアプローチについて検証，検討を行った．1) 昨年度から開発してきた，教師なしスキル学習を利用した報酬関数外挿手法についての検証を行った．特に，スキルによる外挿性能への影響を検証したが，これに関しては現時点で有力な仮説の着想には至っていない．2) 研究計画において実施を予定していた，学習主体の身体，環境，タスクの関係性をモデル化するグラフ表現学習手法の開発に着手した．今年度は，状態情報と，人からのフィードバックによる表現学習により新たな状態を学習し，それらを結合し制御則のモデルへの入力とすることで強化学習の学習効率が向上可能であることを確認した．3) 関数の式自体を陽に推定する，シンボル回帰による関数学習器を用いた直接的な報酬関数のモデル化を試みた．データの背後にある法則性を学習することによって外挿を図るアプローチである．まず，関数学習器への入力として，性能のよいデモンストレーション軌道を用いて関数を学習したところ，デモンストレーションと同等の性能をもつ方策が学習可能であることを確認した．そこで，先行研究によって外挿された報酬関数から得られた軌道について，実験的に検証を行った．ここで，先行研究ではデモンストレーションではなく，非最適な軌道を教師データとした直接的な模倣学習により得られる方策を利用する．この場合に学習された報酬関数の外挿性能はタスクに依存し，1つのタスクでは元の方策と同程度，別のタスクでは外挿が成功するという結果となった．