費用の分散を考慮したマルコフ決定過程とその応用に関する研究

考虑成本分散的马尔可夫决策过程研究及其应用

• 批准号: 08680461
• 负责人: 河合 一
• 金额: $ 0.38万
• 依托单位: Tottori University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 1996
• 资助国家: 日本
• 起止时间: 1996 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08680461/
• 关键词: マルコフ決定過程; 時間平均コスト; 時間平均分散; 定常政策; 完全エルゴディック; サイクル; 制約付MDP; GA

本研究では、有限個の状態、有限個の決定をもつマルコフ決定過程(MDP)において、各定常政策の評価規範として、従来採用されている時間平均コスト(以下単に期待値と略す)に加え、政策の危険度を表現する指標としてあらたに無限期間における総コストの分散の時間平均(以下単に分散と略す)を提案し、その導出および分散制約期待値最小化問題と期待値制約分散最小化問題の解析を目的としている。1.分散の導出...すべての政策の下でマルコフ連鎖は完全エルゴディックである場合を考える。この場合マルコフ連鎖はある状態を指定した時いわゆる再生過程をなす。はじめにコストを伴う再生過程において、時間平均分散は1サイクルにおけるコストの分散と1サイクルの期待時間の比で与えられる事を、再生型方程式及びラプラス変換を用い明らかにした。この事を用い、MDPにおける分散の導出式を連立一次方程式の形で与えた。さらに、MDPの拡張であるセミ-マルコフ決定過程に対しても、同様の解析方法で分散が導出できる事も示した。これらについては、現在投稿準備中である。2.1制約を持つMDPのGAによる近似解法と分散、期待値最適化問題...分散制約期待値最小化問題及び期待値制約分散最小化問題は、一種の組み合わせ最適化問題であるが、その厳密解(政策)の導出は現時点では期待できない。そこで近似解法として遺伝的アルゴリズム(GA)を適用する事を考えたが、GAの効果を調べるためにも(それ自体重要な問題であるが)2種のコストを持つMDPにおける1期待値制約付きMDPにおいてGAによる解法を提唱した。この結果は、確率モデルに関する日豪ワークショップ(1996年、7月)で発表した。分散、期待値問題については、現在検討継続中である。

In this study, there are a limited number of determinants, a limited number of determinants, a limited number of decision makers, a limited number of determinants, a limited number of determinations, a limited number of determin The policy risk statement refers to the average time spent on dispersion during the deadline (the following is the dispersion strategy). It is expected to minimize the problem and analyze the problem of dispersion. 1. Spread out. Under the policy, please contact me. Please contact me. Please contact me. Please contact the link status to specify that the regeneration process will not be affected at any time. To compare the expected time of the regeneration process with that of the regeneration process, to compare the expected time of the regeneration process with that of the regeneration process, to compare the expected time of the regeneration process with that of the regeneration process, to compare the expected time of the regeneration process with that of the regeneration process, and to compare the expected time of the regeneration process with that of the regeneration process, the average time distribution of the regeneration process and the average time distribution of the regeneration process. The equation is connected to the first order equation in the form and shape of the equation by using the method of MDP. To determine whether the process is correct or not, the MDP analysis method is distributed to show that the process is different. I am in the process of preparing a contribution. 2.1 to solve the problem of dispersion and expectation in the approximate solution of MDP's GA equation. The decentralized system expects to minimize the problem and to solve the problem of decentralized minimization, to organize the optimization of the problem in one session, and to provide a secret solution (policy) to determine the timing of the problem. The approximate solution of the information system (GA) is based on the application of the information management system (GA). The results show that the two kinds of information systems, such as the MDP system, the GA system, and the MDP system, are expected to be used to improve the performance of the system. The results and the rate of confirmation are very high. (1996, July). This is the first report in the table. Spread out, look forward to the problem, and now we are in the middle of it.

项目成果

Katumi,HIRAYAMA: "A Solving method of a MDP with constraint by GA" Stoch.Modelson Eng.Tech.and Mang.216-225 (1996)

Katumi,HIRAYAMA：“受 GA 约束的 MDP 的求解方法”Stoch.Modelson Eng.Tech.and Mang.216-225 (1996)