制約付マルコフ決定過程への遺伝アルゴリズムの適用に関する研究

遗传算法在约束马尔可夫决策过程中的应用研究

• 批准号: 07680463
• 负责人: 河合 一
• 金额: $ 0.51万
• 依托单位: Tottori University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (C)
• 财政年份: 1995
• 资助国家: 日本
• 起止时间: 1995 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-07680463/
• 关键词: マルコフ決定過程; 時間平均利得; 遺伝アルゴリズム; 政策改良法; 貯水池; 渇水; 最適放流量; 制約付MDP

複数の評価規範を持つマルコフ決定過程(Markov Decision Process:略してMDP)を制約付MDPとしてとらえ、定常純政策の範囲で解析を行った。制約付MDPにおける厳密な最適政策の導出方法は未だ提案されていないし、これからも良い結果は期待出来ないと判断した。そこで、本研究では、組み合わせ最適化問題に対する近似解法として研究されている遺伝アルゴリズム(Genetic Algorithm:略してGA)による制約付MDPの近似解法の開発とその応用を目的とした。1.1制約付マルコフ決定過程 : 有限状態空間、有限決定空間、および2種類の直接利得を持つMDPを取り扱い、一方の利得から生じる時間平均利得をある与えられた値以上に保証する純政策の中で、他方の利得から生じる時間平均利得を最大にする政策を定める問題を考え、GAの適用を試みた。適応度の設定に、制約の無いMDPにおける政策改良法を組み込んだハイブリッドGAを提案し、厳密解を求めうる比較的サイズの小さなMDPに適用しその有効性を確認した。この結果は、「A solving method of a MDP with constraint by GA」の題目でSecond Australia-JapanWorkshop on Stochastic Models(1996,July 17-19,Gold Coast)で発表の予定である。2.貯水池放流量決定問題 : 一貯水池の最適放流量決定問題を取り扱った。時間平均渇水頻度および渇水継続時間を制約に持つ渇水による時間平均コスト最小化問題を考え、はじめに2制約付MDPとして定式化した。この問題のGAによる近似解法として、世代の更新において1ステップの政策改良法を用いるハイブリッド型のGAを提案し、厳密解を求め得ないサイズの大きな例題に適用しその有効性を検証した。この結果は、「ハイブリッド型遺伝アルゴリズムによる複数の信頼性制約を含む貯水池操作設計ルールの解法」の題目で水文水資源学会誌に投稿の予定である。

Markov Decision Process (MDP) is a complex evaluation criterion, which restricts the performance of MDP and analysis of constant pure policy. The method of deriving the optimal policy for restricting the payment of MDP has not been proposed, and the result has been expected to be judged. In this paper, we study the approximate solution to the optimization problem of group optimization and the application of Genetic Algorithm (GA) to restrict the development of approximate solution to MDP. 1.1 The decision process of constraint payment: finite state space, finite decision space, two kinds of direct gains, holding MDP, one party's gains, time average gains, and more than one party's gains, guaranteeing pure policy, other party's gains, time average gains, maximum policy, examination, GA application. Policy improvement method for setting and restricting the appropriate degree of MDP is proposed, and the appropriate degree of MDP is confirmed. The result of this study is: "A solving method of a MDP with constraint by GA". Second Australia-Japanese Workshop on Stochastic Models(1996,July 17-19,Gold Coast). 2. The problem of determining the discharge rate of a reservoir: the problem of determining the optimum discharge rate of a reservoir Time average water frequency is controlled by time average water minimization problem. An approximate solution to this problem is proposed. A policy improvement method is proposed. A secret solution to this problem is obtained. An effective model is proposed. The results are as follows: "The solution of multiple information constraints including reservoir operation design" is proposed for submission to Journal of Hydrology and Water Resources Society.

项目成果

平山克己: "遺伝アルゴリズムによる制約付マルコフ決定過程の解法" 鳥取大学工学部研究報告. 26. 295-302 (1995)

Katsumi Hirayama：“使用遗传算法解决约束马尔可夫决策过程”鸟取大学工程学院研究报告 26. 295-302 (1995)。