Data-Driven Learning Optimal Control for Stochastic Systems

本研究課題では動的システムを対象として，観測されたデータをもとに，制御対象のダイナミクスや評価関数を学習しながら最適化するアルゴリズムの研究を実施した．具体的な制御対象としては，微分方程式で表される連続時間のダイナミクスと離散的な論理状態を確率的に遷移する確率論理システムに焦点をあて検討を行った．(1) 連続時間微分方程式であらわされるダイナミクスを対象とした研究に関しては，従来静的関数の最適化に用いられていたガウシアンプロセスによるベイズ的最適化手法を最適制御問題に拡張し，有限時間最適制御問題をデータ駆動的に最適化する方法を得た．さらに動的システム論の知見を活用した効率的な評価関数の勾配計算手法によって計算の実現可能性を示し，また，アルゴリズムの適用によって達成される最適性に関しても評価を行った．(2) 2値の離散的な論理状態をとり，それらが確率的な遷移に従う確率論理システムである確率ブーリアンネットワークについて，基礎的な結果としてモデル内の確率を得られた計測データからベイズ的に推定する手法が得られた．また，従来ではモデル内の選択確率とよばれるパラメータは確定的に与えられ制御問題が定式化されていたが，確率的に不確かな選択確率をもつ最適制御問題として新たな問題設定を行い，推定を行いながら最適制御するアルゴリズムを検討した．付随的な結果として，従来の可制御性の検討を最適制御問題として取り扱う手法を考案し，従来研究よりも広い枠組みで可制御性が議論できることを示した．

本研究課題では動的システムを対象として，観測されたデータをもとに，制御対象のダイナミクスや評価関数を学習しながら最適化するアルゴリズムの研究を実施した．具体的な制御対象としては，微分方程式で表される連続時間のダイナミクスと離散的な論理状態を確率的に遷移する確率論理システムに焦点をあて検討を行った．(1) 連続時間微分方程式であらわされるダイナミクスを対象とした研究に関しては，従来静的関数の最適化に用いられていたガウシアンプロセスによるベイズ的最適化手法を最適制御問題に拡張し，有限時間最適制御問題をデータ駆動的に最適化する方法を得た．さらに動的システム論の知見を活用した効率的な評価関数の勾配計算手法によって計算の実現可能性を示し，また，アルゴリズムの適用によって達成される最適性に関しても評価を行った．(2) 2値の離散的な論理状態をとり，それらが確率的な遷移に従う確率論理システムである確率ブーリアンネットワークについて，基礎的な結果としてモデル内の確率を得られた計測データからベイズ的に推定する手法が得られた．また，従来ではモデル内の選択確率とよばれるパラメータは確定的に与えられ制御問題が定式化されていたが，確率的に不確かな選択確率をもつ最適制御問題として新たな問題設定を行い，推定を行いながら最適制御するアルゴリズムを検討した．付随的な結果として，従来の可制御性の検討を最適制御問題として取り扱う手法を考案し，従来研究よりも広い枠組みで可制御性が議論できることを示した．