深層強化学習技術の導入によるカオスベース強化学習の性能向上

点击翻译按钮获取中文摘要

本研究の目的は，カオスベース強化学習(CBRL)に深層強化学習の技術を導入し学習性能を向上させることである。CBRLとはリザバーネットワーク（RN）などのような動的な学習システムが，自身の内的なカオスダイナミクスによって環境内で探索活動を行い学習する強化学習手法である。本研究では，CBRLは従来の乱数を用いて探索を行う強化学習と違い探索まで含めた学習が可能となるのではないかと期待している。深層強化学習において学習性能を向上させるために用いられる強力な手法の一つに経験リプレイがある。これは，環境との相互作用によって得られた過去の経験を保存しておき，それらをサンプリングすることで学習する手法である。RNを用いた深層強化学習のアプローチの一つとして，学習のための計算処理を必要としないRNに入力を与え，その出力をリプレイメモリに保存することで時系列処理の学習を効率化する手法がある。本研究ではまず，この手法を用いてカオスベース強化学習と深層強化学習の融合を図りCBRLの性能向上を試みる。強化学習において連続値行動を扱う場合の学習手法の一つとしてActor-Critic（AC）がある。ACでは，連続値行動を出力するActorと状態行動価値を出力するCriticとに分けてエージェントネットワークを構成し学習を行う。従来のCBRL研究においては探索方向のベクトルとしての乱数が必要なAC手法を用いて学習していたため，乱数を用いないCBRLにとって連続値行動出力の学習は本質的に難しかった。そこで，今年度はこれまでとは異なるAC手法であるTD3により課題の解決を試みた。TD3では，Actorの学習にCriticネットワークから伝わる勾配情報を用いるため，探索ベクトルを必要としない。この手法により，CBRLにおいても連続値行動の学習が可能になった。