权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

強化学習における政策・時空間・ハイパーパラメータの分節化と最適化，その統合

强化学习中策略、时空和超参数的细分、优化和集成

基本信息

批准号：
22K12182
负责人：
野津亮
金额：
$ 2.33万
依托单位：
Osaka Metropolitan University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

项目摘要

深層強化学習において，ハイパーパラメータの設定がどのような影響を与えるかについて実験・検討し，その結果に基づき，異なるハイパーパラメータを持つ複数のニューラルネットワークを並行して学習させ，その都度成績の良いものを採用する手法を開発した．事前実験でハイパーパラメータによっては初期探索速度が速いものや逆に最終的な精度が高いものなどがあることが確認されたため，どのパラメータが一番良いかを選定するのではなくて，並列に学習させ，出力はその都度良いものを選択するという手法を提案した．意外な結果としては，ニューラルネットワークが学習に必要なパラメータ数を持っている場合，ある意味適当に選んだ他のネットワークの出力でもそのネットワークの学習に良い影響を与えることが多いことであった．逆に統計的に学習効率を最大化させようとする手法を用いてネットワークを選択すると全体として探索度合いが高くなってしまうため，最終的な成績は悪いということが分かった．また，強化学習のハイパーパラメータ最適化に向けたアルゴリズム開発では，新しいパラメータを発掘するために，探索領域の拡張を自ら行う手法を検討し，良い精度を出すことを確認した．具体的に，以前提案したアルゴリズムの設定パラメータを削減しつつも良い探索精度を出すことができた．実験では，領域外探索の距離とタイミングについて複数のパターンを調査し，遠くの距離を探索させる頻度は徐々小さくすべきであるということと，探索点群の更新頻度が半分以上の時に遠くの距離を探索させるのか，半分以下の時に探索させるのかで精度の向上に与える質的な違いが明らかになり，それを利用した手法を開発することができた．

Deep reinforcement learning is based on the following three aspects: 1. the setting of the parameter is different from the setting of the parameter; 2. the setting of the parameter is different from the setting of the parameter; 3. the setting of the parameter is different from the setting of the parameter; 4. the setting of the parameter is different from the setting of the parameter; 5. the setting of the parameter is different from the setting. In advance, the speed of initial exploration, the speed of reverse exploration, the final accuracy, the high accuracy, the high accuracy Unexpected results: When learning is necessary, the number of factors is maintained. When learning is necessary, the number of factors means that learning is affected by the number of factors. The method of maximizing the learning rate is to use the method of optimizing the learning rate. In addition, the optimization of reinforcement learning and the development of new methods of exploration and expansion of the field are discussed and the accuracy is confirmed. Specifically, the previous proposal was made to reduce the accuracy of exploration. In fact, the distance of exploration outside the domain is investigated, the frequency of exploration of distance is small, the frequency of exploration of point group is updated more than half a minute, the distance is explored less than half a minute, the accuracy of exploration is upward, and the quality is violated. The first step is to open the door.