深層強化学習技術の導入によるカオスベース強化学習の性能向上

通过引入深度强化学习技术提高基于混沌的强化学习性能

• 批准号: 22K17969
• 负责人: 松木 俊貴
• 金额: $ 2.91万
• 依托单位: Oita University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2026-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17969/
• 关键词: カオスベース強化学習; リザバーコンピューティング; 深層強化学習; リザバーネットワーク

本研究の目的は，カオスベース強化学習(CBRL)に深層強化学習の技術を導入し学習性能を向上させることである。CBRLとはリザバーネットワーク（RN）などのような動的な学習システムが，自身の内的なカオスダイナミクスによって環境内で探索活動を行い学習する強化学習手法である。本研究では，CBRLは従来の乱数を用いて探索を行う強化学習と違い探索まで含めた学習が可能となるのではないかと期待している。深層強化学習において学習性能を向上させるために用いられる強力な手法の一つに経験リプレイがある。これは，環境との相互作用によって得られた過去の経験を保存しておき，それらをサンプリングすることで学習する手法である。RNを用いた深層強化学習のアプローチの一つとして，学習のための計算処理を必要としないRNに入力を与え，その出力をリプレイメモリに保存することで時系列処理の学習を効率化する手法がある。本研究ではまず，この手法を用いてカオスベース強化学習と深層強化学習の融合を図りCBRLの性能向上を試みる。強化学習において連続値行動を扱う場合の学習手法の一つとしてActor-Critic（AC）がある。ACでは，連続値行動を出力するActorと状態行動価値を出力するCriticとに分けてエージェントネットワークを構成し学習を行う。従来のCBRL研究においては探索方向のベクトルとしての乱数が必要なAC手法を用いて学習していたため，乱数を用いないCBRLにとって連続値行動出力の学習は本質的に難しかった。そこで，今年度はこれまでとは異なるAC手法であるTD3により課題の解決を試みた。TD3では，Actorの学習にCriticネットワークから伝わる勾配情報を用いるため，探索ベクトルを必要としない。この手法により，CBRLにおいても連続値行動の学習が可能になった。

は の purpose, this study カ オ ス ベ ー ス reinforcement learning (CBRL) に deep reinforcement learning を の technology import し study performance を up さ せ る こ と で あ る. CBRL と は リ ザ バ ー ネ ッ ト ワ ー ク (RN) な ど の よ う な moving な learning シ ス テ ム が, within their own の な カ オ ス ダ イ ナ ミ ク ス に よ っ て environment で exploration line を い learning す る reinforcement learning methods で あ る. This study で は, CBRL は 従 to の random number を with い て exploration line を う reinforcement learning と violations い explore ま で containing め た learning が may と な る の で は な い か と expect し て い る. Deep reinforcement learning に お い て study performance を up さ せ る た め に with い ら れ る powerful な gimmick の a つ に 経 験 リ プ レ イ が あ る. こ れ は, environmental と の interaction に よ っ て have ら れ た past の 経 験 を save し て お き, そ れ ら を サ ン プ リ ン グ す る こ と study で す る gimmick で あ る. RN を with い た deep reinforcement learning の ア プ ロ ー チ の a つ と し て, learning の た め の computing 処 Richard を necessary と し な い RN に を into force and え そ の output を リ プ レ イ メ モ リ に save す る こ と で series 処 reason の learn を sharper rate change す る gimmick が あ る. This study で は ま ず, こ の gimmick を with い て カ オ ス ベ ー ス reinforcement learning と deep reinforcement learning の fusion を 図 り CBRL の performance up を try み る. Reinforcement learning にお て て continuous 続 value action を handling う situation <s:1> learning method <e:1> one と と て てActor-Critic (AC) がある. AC で は, even on 続 numerical action を output す る Actor と state action on 価 numerical を output す る Critic と に points け て エ ー ジ ェ ン ト ネ ッ ト ワ ー ク を constitute し learning う を line. 従 to の CBRL research に お い て は exploration direction の ベ ク ト ル と し て の random number が な AC technique を with necessary い て learning し て い た た め, random number を with い な い CBRL に と っ て even 続 numerical efforts の は essential に learning difficult し か っ た. Youdaoplaceholder0 で で で, this year 's <s:1> れまでと れまでと <e:1> topic of the なるAC method であるTD3によ によ みた is to solve を attempts みた. TD3 で は, Actor の learning に Critic ネ ッ ト ワ ー ク か ら 伝 わ る hooks with intelligence を い る た め, explore ベ ク ト ル を necessary と し な い. The <s:1> <s:1> technique によ によ, CBRLにお て て 続 in connection with 続 value action <e:1> learning が may になった.