学習時間を1/10にした学習手法の拡張によるロボット向けエッジAIの構築と評価

令和4年度は，連続状態行動空間を扱う強化学習エージェントの学習過程において，途中で学習が不安定化し，タスクの成功率が低下する問題の抑制と心理学に基づく学習効率の改善方法について研究を行った．また，昨年度に引き続き，AHPを用いた報酬設計の工夫による学習解の質の改善について検証した．具体的には，学習が不安定化する問題に対しては，連続状態行動空間を自律的に離散化しながら政策を学習する場合，遷移先の状態が1ステップ前の離散状態と同じ状態と判別する場合がある．この時，td誤差を計算すると，割引率があることから負の値になり，行動の評価が下がるため，収束していた政策を広げるように更新する．この理由により行動が不安定になる．特に，1ステップ当たりのエージェントの動作時間が短くなると，この影響が大きくなる．この問題を軽減することでタスクの成功率の低下を抑制した．次に，心理学において，複数のタスクを同時並行的に学習する方法がある．この仕組みをマルチタスクを扱う強化学習エージェントに適用することで，学習効率を高めることができるかをロボットを用いた学習実験によって検証した．AHPを用いた報酬設計については，迷路問題を扱う強化学習エージェントを用いてその効果を検証した．10×10の迷路問題に対して，ゴールへ到達することに加えて，より少ないステップ数で到達することを報酬として表現し学習した結果，ステップ数を評価に加えることによってゴール到達に要するステップ数が小さくなることを確認した．以上の研究に関して，学会で2件の口頭発表を行った．

令和4年度は，連続状態行動空間を扱う強化学習エージェントの学習過程において，途中で学習が不安定化し，タスクの成功率が低下する問題の抑制と心理学に基づく学習効率の改善方法について研究を行った．また，昨年度に引き続き，AHPを用いた報酬設計の工夫による学習解の質の改善について検証した．具体的には，学習が不安定化する問題に対しては，連続状態行動空間を自律的に離散化しながら政策を学習する場合，遷移先の状態が1ステップ前の離散状態と同じ状態と判別する場合がある．この時，td誤差を計算すると，割引率があることから負の値になり，行動の評価が下がるため，収束していた政策を広げるように更新する．この理由により行動が不安定になる．特に，1ステップ当たりのエージェントの動作時間が短くなると，この影響が大きくなる．この問題を軽減することでタスクの成功率の低下を抑制した．次に，心理学において，複数のタスクを同時並行的に学習する方法がある．この仕組みをマルチタスクを扱う強化学習エージェントに適用することで，学習効率を高めることができるかをロボットを用いた学習実験によって検証した．AHPを用いた報酬設計については，迷路問題を扱う強化学習エージェントを用いてその効果を検証した．10×10の迷路問題に対して，ゴールへ到達することに加えて，より少ないステップ数で到達することを報酬として表現し学習した結果，ステップ数を評価に加えることによってゴール到達に要するステップ数が小さくなることを確認した．以上の研究に関して，学会で2件の口頭発表を行った．