強化学習における政策・時空間・ハイパーパラメータの分節化と最適化，その統合

点击翻译按钮获取中文摘要

深層強化学習において，ハイパーパラメータの設定がどのような影響を与えるかについて実験・検討し，その結果に基づき，異なるハイパーパラメータを持つ複数のニューラルネットワークを並行して学習させ，その都度成績の良いものを採用する手法を開発した．事前実験でハイパーパラメータによっては初期探索速度が速いものや逆に最終的な精度が高いものなどがあることが確認されたため，どのパラメータが一番良いかを選定するのではなくて，並列に学習させ，出力はその都度良いものを選択するという手法を提案した．意外な結果としては，ニューラルネットワークが学習に必要なパラメータ数を持っている場合，ある意味適当に選んだ他のネットワークの出力でもそのネットワークの学習に良い影響を与えることが多いことであった．逆に統計的に学習効率を最大化させようとする手法を用いてネットワークを選択すると全体として探索度合いが高くなってしまうため，最終的な成績は悪いということが分かった．また，強化学習のハイパーパラメータ最適化に向けたアルゴリズム開発では，新しいパラメータを発掘するために，探索領域の拡張を自ら行う手法を検討し，良い精度を出すことを確認した．具体的に，以前提案したアルゴリズムの設定パラメータを削減しつつも良い探索精度を出すことができた．実験では，領域外探索の距離とタイミングについて複数のパターンを調査し，遠くの距離を探索させる頻度は徐々小さくすべきであるということと，探索点群の更新頻度が半分以上の時に遠くの距離を探索させるのか，半分以下の時に探索させるのかで精度の向上に与える質的な違いが明らかになり，それを利用した手法を開発することができた．