ロバスト統計を用いた異常値の影響を受けないシステム同定法の構築

点击翻译按钮获取中文摘要

本研究では観測に異常値が含まれるデータからシステムを推定するアルゴリズムを開発することが目的である．計画4年目にあたる2022年度は以下の3つの課題に取り組んだ．(1) システム同定のための非線形モデルとして本研究はポートハミルトン系に着目し，ポートハミルトン系のための強化学習法を提案した．強化学習は試行錯誤により報酬を最大化する制御則を獲得するアルゴリズムである．ポートハミルトン系のための強化学習は，未知パラメータを含むポートハミルトン系に対して制御則を学習する方法である．従来提案されていたポートハミルトン系のための強化学習に対して自然勾配法を導入することにより，従来よりも高速に学習が可能なアルゴリズムを提案した．(2) ポートハミルトン系のための強化学習はこれまで確率的方策が用いられてきたが，制御入力に含まれるノイズがシステムの意図しない動作を引き起こす可能性がある．本研究では確率的方策を決定論的方策に置きかえることにより制御入力にノイズが入らないようにし，決定論的方策を勾配法により学習するアルゴリズムを提案した．(3) 強化学習は報酬を最大化するアルゴリズムであるが，実問題を考えると報酬の観測に外れ値が混入する場合がある．外れ値の影響を抑えた推定を行う方法としてベータダイバージェンスを用いたロバスト推定が提案されている．ベータダイバージェンスを用いたロバスト推定は重み関数を用いることにより外れ値の影響を抑えた推定を行うことができる．本研究ではポートハミルトン系のための強化学習において，報酬の観測に外れ値が含まれる問題に対してベータダイバージェンスを用いたロバストなパラメータ更新則を提案した．