ロボットにおける心の機能の実現:メンタルシミュレーションを併用したロボット学習の高速化

机器人心理功能的实现：利用心理模拟加速机器人学习

• 批准号: 10780232
• 负责人: 山口 智浩
• 金额: $ 1.22万
• 依托单位: Nara National College of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1998
• 资助国家: 日本
• 起止时间: 1998 至 1999
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10780232/
• 关键词: 人工知能; 強化学習; ロボット学習; r-確実探索法; 変動点推定; 割引期待報酬; 報酬獲得効率; 平均報酬; メンタルシミュレーション; 人工生命; 協調行動; オフライン学習; オンライン学習

ロボットの動作速度よりも速く学習や試行錯誤を行なうにはどうすれば可能か?実ロボット学習の最大の問題点は,学習時間の長さである.しかも従来手法では、タスクが複雑になるにつれ学習コストが大きく増加する問題が生じる.そこで本年度は、複数ロボットの協調行動学習のシミュレーションシステムを構築した上で、基本となる強化学習手法の効率化および状況変化に対する収束精度の改善手法を提案し、実験的にその効果を評価した。1.r-確実探索法による、変動にすばやく適応する環境同定手法の実現複数の学習ロボットのいる環境では、ロボットが自身のいる環境の状況や変化を正確に把握することは、学習精度を保つ上で重要な役割を持つ。しかしながら、従来の強化学習手法は、緩やかな変動には適応できても、他の学習ロボットの政策変更などによって生じる状況の断続的な変動への対応が困難だった。そこで本手法は逐次的な観測データから環境の変動点を推定し、同定モデルを変動点の前後で分割することにより、変動に対し、同定精度を悪化させない手法を提案し、実験を行なった。2.報酬獲得効率:RAEに基づく最適政策の高速な強化学習手法従来の最適政策の強化学習法の基本原理は、割引期待報酬和の最大化であった。しかしながら、従来手法は計算コストが大きく、しかも、割引期待報酬手法では目先の利益を優先し、遠くの利益を過小評価するという問題点があった。そこで本手法では、強化学習法の本来の学習目的である報酬獲得効率を直接算出し、これを最大化する政策を効率良く求める新しいアルゴリズムを提案し、計算量の減少を既存手法と実験的に比較、評価した。3.学習の副目標を自律的に設定する強化学習法の実験与えられた学習目標である報酬を手がかりに,報酬を獲得する中間地点に副目標である副報酬を設定することで,強化学習を効率化,高速化する新しい手法を実験した.

Youdaoplaceholder0 <s:1> action speed よ よ <s:1> speed く learning や trial error を line なうに なうに うすれば うすれば possible よ? Be ロ ボ ッ の の biggest problem point は ト learning, learning の long さ で あ る. し か も 従 to technique で は, タ ス ク が complex 雑 に な る に つ れ learning コ ス ト が big き く raised plus す る problem が raw じ る. そ こ で は this year, the plural ロ ボ ッ ト の coordinated action learning の シ ミ ュ レ ー シ ョ ン シ ス テ ム を build し た で, basic と な る reinforcement learning The efficiency of the technique および situation change に on the improvement of the する binding accuracy を proposal <e:1> and the を effect evaluation of the experiment 価 た た. 1. R - indeed be exploring method に よ る, - に す ば や く optimum 応 す る environment with constant approach の be plural の now learning ロ ボ ッ ト の い る environment で は, ロ ボ ッ ト が itself の い る environment の conditions や variations change を に grasp the correct す る こ と は を つ で important bao, learning precision cut を hold つ な service. し か し な が ら, 従 の reinforcement learning methods は, slow や か な - move に は optimum 応 で き て も, he studied の ロ ボ ッ ト の policy - more な ど に よ っ て raw じ る condition の broken 続 な - move へ の 応 seaborne が difficult だ っ た. そ こ で this technique は successive な 観 measuring デ ー タ か ら environment の - fixed point を presumption し, with constant モ デ ル を variations before and after the fixed point の で す segmentation る こ と に よ り, - に し, with accuracy of seaborne を 悪 change さ せ な い を proposal し, be 験 を line な っ た. 2. Reward acquisition efficiency :RAEに basis づく optimal policy <e:1> high-speed な reinforcement learning methods 従 to <s:1> optimal policy <e:1> reinforcement learning methods <e:1> basic principles <e:1>, cutting expected returns and <s:1> maximization であった. し か し な が ら, 従 to technique は calculation コ ス ト が big き く, し か も, leads forward to cut compensation technique で は し を の interests first priority, far く の interests を too small review 価 す る と い う problem point が あ っ た. そ こ で this gimmick で は, reinforcement learning method の の learning purpose originally で あ を る get sharper remuneration rate directly calculate し, こ れ を maximize す る policy を く sharper rate good for め る new し い ア ル ゴ リ ズ ム を proposal し, の reduce amount of calculation を existing technique と be 験 に comparison and evaluation of 価 し た. 3. Learning の set pair of target を self-discipline に す る の reinforcement learning method be 験 and え ら れ た learning goals で あ る remuneration を hand が か り に, remuneration を get す る middle place に vice target で あ る vice を setting remuneration す る こ と で, reinforcement learning を working rate, high speed す る new し い gimmick を be 験 し た.