Discrete and Continuous Reinforcement Learning with a Library of Skills and its Application to Robotic Food Manipulation

点击翻译按钮获取中文摘要

本研究では，スキルの組み合わせ探索とパラメータの最適化で構成される「離散連続強化学習」手法の構築と，これにより，ロボットによって調理などの高度な物体操作を自動化することを目標とする．具体的には，次の(A)(B)(C)を研究項目として設定している．(A)スキルライブラリの構築，(B)スキルライブラリを利用したロボット動作の計画・制御・学習手法の開発，(C)シミュレーションやロボットを用いたタスクでの検証．本年度は，各研究項目について，以下の進展があった．(C-1)視触覚センサFingerVisionを搭載した高機能ロボットハンドを開発し，触覚情報処理プログラムや基本制御プログラムを開発した．このハンドを利用し，(A-1)手探り把持スキルを実装した．回日本ロボット学会学術講演会にて(C-1)(A-1)の学会発表を行った．(C-2)注ぐタスクにおいて，漏斗などの道具の使用やマヨネーズの容器のような柔軟な容器をシミュレーション実験で扱えるようにするためのシミュレータを開発した．このシミュレータは，これまでに我々が開発した注ぐタスクの検証シミュレータを改良する形で行われており，これまでと同様に粘性をもった液体などのシミュレーションが実施できることに加えて，(C-2)の改良が導入されている．この成果を回日本ロボット学会学術講演会にて発表した．このシミュレータを利用し，(A-2)注ぐタスクのための新たなスキルとして漏斗を利用するスキル，柔軟な容器を圧縮するスキルを開発した．さらに，(B-1)提案する離散連続強化学習手法で効率的に扱えるようにするダイナミクスモデルの構成方法を開発した．特に，学習したモデルが異なる状況でも共有できる（再利用できる）ような工夫を導入することで，学習効率を向上させることに成功した．一連の成果は国際会議にて発表した．