制約付マルコフ決定過程への遺伝アルゴリズムの適用に関する研究

点击翻译按钮获取中文摘要

複数の評価規範を持つマルコフ決定過程(Markov Decision Process:略してMDP)を制約付MDPとしてとらえ、定常純政策の範囲で解析を行った。制約付MDPにおける厳密な最適政策の導出方法は未だ提案されていないし、これからも良い結果は期待出来ないと判断した。そこで、本研究では、組み合わせ最適化問題に対する近似解法として研究されている遺伝アルゴリズム(Genetic Algorithm:略してGA)による制約付MDPの近似解法の開発とその応用を目的とした。1.1制約付マルコフ決定過程 : 有限状態空間、有限決定空間、および2種類の直接利得を持つMDPを取り扱い、一方の利得から生じる時間平均利得をある与えられた値以上に保証する純政策の中で、他方の利得から生じる時間平均利得を最大にする政策を定める問題を考え、GAの適用を試みた。適応度の設定に、制約の無いMDPにおける政策改良法を組み込んだハイブリッドGAを提案し、厳密解を求めうる比較的サイズの小さなMDPに適用しその有効性を確認した。この結果は、「A solving method of a MDP with constraint by GA」の題目でSecond Australia-JapanWorkshop on Stochastic Models(1996,July 17-19,Gold Coast)で発表の予定である。2.貯水池放流量決定問題 : 一貯水池の最適放流量決定問題を取り扱った。時間平均渇水頻度および渇水継続時間を制約に持つ渇水による時間平均コスト最小化問題を考え、はじめに2制約付MDPとして定式化した。この問題のGAによる近似解法として、世代の更新において1ステップの政策改良法を用いるハイブリッド型のGAを提案し、厳密解を求め得ないサイズの大きな例題に適用しその有効性を検証した。この結果は、「ハイブリッド型遺伝アルゴリズムによる複数の信頼性制約を含む貯水池操作設計ルールの解法」の題目で水文水資源学会誌に投稿の予定である。