データ活用制御手法の信頼性向上にむけた確率雑音の効用解析

点击翻译按钮获取中文摘要

確率雑音が制御システムにおける学習にもたらす効用解析を目的として，最適制御におけるエントロピー正則化の研究に取り組んだ．離散時間線形システムの初期状態分布と目標分布がガウス分布で与えられたときに，終端時刻で状態分布を目標分布に一致させる制御問題を考えた．制御コストを二次形式と制御方策のエントロピー正則化項で与えたとき，コスト最小化解が陽に与えられることを示した．さらにその解がエントロピー正則化最適輸送問題の最適解を与えることを示した．エントロピー正則化は強化学習・最適輸送において，そして分布のダイナミクスは生成モデル(拡散モデル)において注目されており，最適制御を通してこれらをつなげる興味深い結果が得られたといえる．また分布ダイナミクスに関連して，多数の振動子から成る群を一つの確率分布でモデリングし，振動子全体に共通の制御入力を与えることで振動子分布を目標分布へ収束させる問題に取り組んだ．振動子が雑音に駆動される場合，振動子分布を目標分布と完全に一致させることは一般にできない課題があった．そこで本研究では，L2距離の意味で目標分布の近くに留まる振動子分布の軌道を最適化で設計，そしてその軌道へ振動子分布が任意の初期分布から収束できる制御方策を設計するアプローチを提案した．さらに提案法の収束性を証明した．また，エントロピー正則化と同様に制御方策の確率性を促進させる「Kullback-Leibler(KL)制御問題」を考察した．従来のKL制御は遷移分布の可制御性に関する仮定をおくことで，最適解が効率的に計算できることが知られていたが，状態空間が連続な場合，その仮定は非現実的なものであった．そこで本研究ではKL制御の定式化を適切に修正することで，連続状態空間における非現実的な仮定の除去ができ，連続空間においてもKL制御の利点が享受できるようになった．