方策勾配法に基づく強化学習法と複雑システム制御への応用

基于策略梯度法的强化学习方法及其在复杂系统控制中的应用

• 批准号: 05J02773
• 负责人: 森 健
• 金额: $ 1.15万
• 依托单位: Nara Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2006
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-05J02773/
• 关键词: 強化学習; 方策オフ型; 方策勾配法; 最小二乗方策評価; サンプル再利用; マルチエージェント; 自然方策勾配; 探索・搾取

近年提案されたNatural Actor-Critic法と呼ばれる方策勾配法は、速く確実に学習できる強化学習法として注目されている。しかし、方策を改善するごとに過去の方策の下で生成したサンプルを捨てなければならないという問題があった。これに対して、昨年我々が提案した「方策オフ型 Natural Actor-Critic法(Off-NAC法)」と呼ぶ方策勾配法は、過去の方策の下で生成したサンプルを現在の方策勾配の推定に再利用することができる。このため、サンプルの生成が困難である実システム(複雑システム)の制御則獲得課題に対しても、少ないサンプル数で速く学習することができると考えられ、シミュレーション実験によりその有効性を示した。本年はまず、Off-NAC法の分散分析を行い、過去の方策の下で生成した系列の長さに依存して、方策勾配推定の分散が指数関数的に大きくなることを検証した。この問題を回避するためには、系列の長さを有限にする必要があるが、従来のTD法を用いて方策勾配推定を行った場合、方策勾配推定が発散する可能性が生じる。しかし、off-NAC法では、最小二乗法に基づくTD法である「方策オフ型LSTD(λ)法」を提案し用いており、従来のTD法と収束条件が異なる。我々は、方策オフ型LSTD(λ)法が、任意の長さの系列を用いた場合でも収束することを証明し、従来のTD法では発散するシミュレーション課題において、収束することを示した。これにより、off-NAC法が、これまで提案されてきた重点サンプリングに基づく方策オフ型強化学習法の中で、唯一収束が保証されることを示すことができた。その他、近年提案された隠れマルコフモデルに基づく方策勾配法をマルチエージェント課題に適用した。他のエージェントのダイナミクスの特徴を、内部状態遷移モデルとして抽出することができ、従来法よりも良い性能を持つことを示した。

Recent proposal さ れ た Natural Actor - と Critic method called ば れ る order hook method は, speed く really be に learning で き る reinforcement learning method と し て attention さ れ て い る. し か し, order を improve す る ご と に past の order under の で generated し た サ ン プ ル を shed て な け れ ば な ら な い と い う problem が あ っ た. こ れ に し seaborne て, yesterday I 々 が proposal し た "order オ フ type Natural Actor - Critic method (NAC) Off -" と shout ぶ order hook method は, past の order under の で generated し た サ ン プ ル を の now in order to hang up with presumption の に reuse す る こ と が で き る. こ の た め, サ ン プ ル の generated が difficult で あ る be シ ス テ ム (after 雑 シ ス テ ム) の suppression received subject に し seaborne て も, less な い サ ン プ ル number で speed く learning す る こ と が で き る と exam え ら れ, シ ミ ュ レ ー シ ョ ン be 験 に よ り そ の have sharper sex を shown し た. This year は ま ず, Off - line NAC の dispersion analysis を い, past の order under の で generated し た long series の さ に dependent し て presumption, in order to hang up with の scattered が index number of masato に big き く な る こ と を 検 card し た. こ の problem を avoid す る た め に は, long series の さ を limited に す る necessary が あ る が, 従 の を TD method with い て in order to hang up with presumed line を っ た occasions, in order to hang up with presumed が 発 scattered す る possibility が raw じ る. し か し, off - NAC で は, least squares method に づ く TD method で あ る "order オ フ type LSTD method (lambda)" を proposal し with い て お り, 従 to の TD と 収 が beam conditions different な る. Type I 々 は, order オ フ LSTD が (lambda) method, the arbitrary の さ の series を い た occasions で も 収 beam す る こ と を prove し, 従 to の TD で は 発 scattered す る シ ミ ュ レ ー シ ョ ン subject に お い て, 収 す る こ と を shown し た. こ れ に よ り, off - NAC が, こ れ ま で proposal さ れ て き た key サ ン プ リ ン グ に base づ く order オ フ で in reinforcement learning method の, only 収 beam が guarantee さ れ る こ と を shown す こ と が で き た. Government そ の him, and in recent years, proposed さ れ た れ マ ル コ フ モ デ ル に base づ く order hook match method を マ ル チ エ ー ジ ェ ン ト subject に applicable し た. He の エ ー ジ ェ ン ト の ダ イ ナ ミ ク ス の, 徴 を, internal state transition モ デ ル と し て spare す る こ と が で き, 従 to よ り い も good performance を hold つ こ と を shown し た.

项目成果

Reinforcement learning for a biped robot based on a CPG-actor-critic method

• DOI: 10.1016/j.neunet.2007.01.002
• 发表时间: 2007-08
• 期刊: Neural networks : the official journal of the International Neural Network Society
• 作者: Yutaka Nakamura;Takeshi Mori;Masa-aki Sato;S. Ishii

Off-Policy Natural Policy Gradient Method for a Biped Walking Using a CPG Controller

• DOI: 10.20965/jrm.2005.p0636
• 发表时间: 2005-12
• 期刊: J. Robotics Mechatronics
• 作者: Yutaka Nakamura;Takeshi Mori;Yoichi Tokita;T. Shibata;S. Ishii

重点サンプリングに基づく natural actor-critic 法による効果的なサンプルの再利用

使用基于加权采样的自然行动者批评方法进行有效的样本重用

• 发表时间: 2006
• 期刊: 電子情報通信学会論文誌 J89-D・5
• 作者: Masae Naruse;et al.;Akiko Hasegawa et al.;Takahashi Satoko;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Yutaka Nakamura;森 健
• 通讯作者: 森 健

重点サンプリングに基づくnatural actor-critic法による効果的なサンプルの再利用

使用基于加权采样的自然行动者批评方法进行有效的样本重用

• 发表时间: 2006
• 期刊: 電子情報通信学会論文誌 J89-D・5
• 作者: Masae Naruse;et al.;Akiko Hasegawa et al.;Takahashi Satoko;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Yutaka Nakamura;森 健;森 健
• 通讯作者: 森 健

Off-Policy Natural Actor-Critic

非政策自然演员评论家

• 发表时间: 2005
• 期刊: NAIST Technical Report 20050007
• 作者: Masae Naruse;et al.;Akiko Hasegawa et al.;Takahashi Satoko;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Hiroki Nakata;Yutaka Nakamura;森 健;森 健;T.Mori
• 通讯作者: T.Mori