多点探索法に基づく強化学習と複雑なシステム制御への適用

点击翻译按钮获取中文摘要

複雑なシステム制御を達成する強化学習手法の確立を目指し,政策勾配法に関する研究を行った.複雑なシステムではその制御則の設計が困難であるため,強化学習により学習主体であるエージェントが自律的に目的の制御則を獲得することが好ましい.政策勾配法は制御則をモデルで表現して,そのパラメータを勾配法により最適化する強化学習手法の総称であり,制御問題への適用が容易であるなどの利点がある.しかし,従来の政策勾配法は局所探索に基づいているため複数の局所解がある場合に実用的な制御則を獲得できない.そこで,本研究では,既存の手法では実用的な制御則の獲得が困難なタスクに対する強化学習手法を確立することを目的としている.局所解を乗り越えるために多点探索手法の開発を行った.多点探索手法では多点であるがための探索効率の低下が問題となる.そこで,(i)政策勾配法そのものの探索効率の向上,(ii)同じサンプルから複数の制御則を同時に改善する政策勾配法の構築を行った.まず,探索効率の向上に関しては,自然勾配を導入した政策勾配法は探索効率が高いが,自然勾配を推定するための計算量が多いため高次元のパラメータを持つ制御則には適用が困難である.そこで,制御則のパラメータの取り方を工夫することで計算量の削減を行った.次に,政策勾配法により同じサンプルから複数の制御則を同時に改善するために重点サンプリングを用いた.重点サンプリングは異なる分布によりサンプリングされたサンプルから分布の評価値の期待値を推定するための統計学的な手法である.集団で解探索を行う政策勾配法の枠組みを構築し,政策勾配法に基づく効率的な多点探索手法を,重点サンプリングを用いる政策勾配法により構築した.構築した手法をベンチマーク問題へ適用し,単点探索では初期値により最適解が学習できないような多峰性の問題において構築した手法の有効性を実験的に示した.