权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

実ロボットによるDirect-Vision-Based強化学習の検証

使用真实机器人验证基于直接视觉的强化学习

基本信息

批准号：
13780295
负责人：
柴田克成
金额：
$ 1.54万
依托单位：
Oita University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Young Scientists (B)
财政年份：
2001
资助国家：
日本
起止时间：
2001 至 2002
项目状态：
已结题

项目摘要

昨年度、リニアの視覚センサ付きの小型移動ロボットを用いて、Direct-Vision-Based強化学習に基づき、単に視覚センサ信号をニューラルネットを入力し、円柱状の黒い物体に到達した際の報酬を元に、強化学習を行うだけで、物体に到達する行動を獲得できることを示した。しかしながら、視覚センサはリニアタイプのものである上、入力の信号数は64と少なかった。そこで、今年度は、説得力を増すため、まず、リニアの視覚センサの代わりに、超小型CCDカメラを装着して、二次元画像で信号数1536という状況で、同様に物体到達運動が学習できるかを検証した。そして、試行回数の増大もほとんどなく、学習できることを確認した。しかしながら、これでも、単に到達するだけでは画像上の黒い部分の重心を画面の中心で捕らえ、前進するという簡単な制御でも実現でき、タスクとして簡単であるため、より難しいタスクとして、横に寝かせた細長い直方体の物体を押すタスクを行った。この場合、単に到達するだけでなく、バランスを取って押すこと、さらには、単に物体に近づくだけでなく、その後に押すことを考慮して近づくことが必要となる。その結果、単に、物体を押したときに報酬を与え、見失ったときに罰を与えて数千試行の学習をさせるだけで、物体に近づいて押すことができるようになった。そして、画像上の物体の重心が同一であっても、物体の向きによって、近づき方も異なったものとなった。また、当初は、直方体の長辺に対して垂直に近づいて押すようになることを想定していたが、実際の学習後の行動は、予想とは異なっており、物体の滑りも考慮し、当初想定していた経路よりも短時間で物体を押して報酬を得るようになった。このように、画像処理も制御方法もタスクに関する情報も一切与えずに、物体を押す動作を学習によって獲得できることを示したのは、筆者が知る限り、世界でも本研究が初めてである。

Last year, we paid for the use of small-scale transportation equipment, the use of Direct-Vision-Based, the strength of the chemical signal, the input force of the column-shaped black object, the cost of the payroll, the safety of the chemical company, and the arrival of the object. The number of input signals is less than the number of input signals. The number of secondary portrait signals is 1536, the number of two-dimensional portraits is 1536, and the number of objects in the same direction is similar to that of objects in the same class. Please make sure that you do not know if you want to make sure that you do not know what to do. In the picture, the center of gravity is in the center of the picture, and the center of gravity is captured in the center of the picture on the portrait, so that you can make sure that you see the image, and that you can make sure that you see the image, and that you can make sure that you don't know what's going on, and that you're going to make sure that you don't know what's going on, and that you're going to make sure that you have a square object in front of you. Make sure you don't know what's going on, so that you can pick up the objects that are close to you, and then you'll need to know if it's necessary. The result, the result, the object, the price, the result, the price, the price and the price. The center of gravity of the object in the portrait is the same as that in the portrait, and the object is in the direction of the object. You want to buy a car, you want to do it, you don't want to do it, and you want to do it. The method of making and controlling the portrait, the way to control it, the method to control it, the way to control