実ロボットによるDirect-Vision-Based強化学習の検証

点击翻译按钮获取中文摘要

昨年度、リニアの視覚センサ付きの小型移動ロボットを用いて、Direct-Vision-Based強化学習に基づき、単に視覚センサ信号をニューラルネットを入力し、円柱状の黒い物体に到達した際の報酬を元に、強化学習を行うだけで、物体に到達する行動を獲得できることを示した。しかしながら、視覚センサはリニアタイプのものである上、入力の信号数は64と少なかった。そこで、今年度は、説得力を増すため、まず、リニアの視覚センサの代わりに、超小型CCDカメラを装着して、二次元画像で信号数1536という状況で、同様に物体到達運動が学習できるかを検証した。そして、試行回数の増大もほとんどなく、学習できることを確認した。しかしながら、これでも、単に到達するだけでは画像上の黒い部分の重心を画面の中心で捕らえ、前進するという簡単な制御でも実現でき、タスクとして簡単であるため、より難しいタスクとして、横に寝かせた細長い直方体の物体を押すタスクを行った。この場合、単に到達するだけでなく、バランスを取って押すこと、さらには、単に物体に近づくだけでなく、その後に押すことを考慮して近づくことが必要となる。その結果、単に、物体を押したときに報酬を与え、見失ったときに罰を与えて数千試行の学習をさせるだけで、物体に近づいて押すことができるようになった。そして、画像上の物体の重心が同一であっても、物体の向きによって、近づき方も異なったものとなった。また、当初は、直方体の長辺に対して垂直に近づいて押すようになることを想定していたが、実際の学習後の行動は、予想とは異なっており、物体の滑りも考慮し、当初想定していた経路よりも短時間で物体を押して報酬を得るようになった。このように、画像処理も制御方法もタスクに関する情報も一切与えずに、物体を押す動作を学習によって獲得できることを示したのは、筆者が知る限り、世界でも本研究が初めてである。