权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

マルコフ決定過程における分散および期待効用に関する最適化の研究

马尔可夫决策过程中方差与期望效用的优化研究

基本信息

批准号：
08640284
负责人：
門田良信
金额：
$ 0.19万
依托单位：
Wakayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
1996
资助国家：
日本
起止时间：
1996 至无数据
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-08640284/
关键词：

项目摘要

マルコフ決定過程(MDP)の期待値最大化の下での分散最小化に関して次の結果を得た。MDPを可算状態空間S,有限決定空間A(i),推移確率p=(p(a)_<ij>;i,j∈S),一様有界な直接利得{r(i,a);i∈S,a∈A(i)}で定義する。政策をπ=(π_0,π_1,…),特に定常政策をfで表わす。初期状態i∈Sと政策πによって定まる標本空間上の確率をP^π_iとし,P^π_iによる期待値と分散を,それぞれE^π_i(・),V^π_i(・)と表わす。平均期待利得と(平均)分散をx(i,π)=<lim inf>___<n→∞>1/(n+1)E^π_i[Σ^^n__<k-0>r(X_k,Δ_k)],ψ(i,π)=<lim sup>___<n→∞>1/(n+1)V^π_i[Σ^^n__<k=0>r(X_k,Δ_k)]によって定義する。x(i,π^*)=max{x(i,π);πはすべての政策}を満たすπ^*を平均最適政策と呼ぶ。Theorem 1.定数b>0と状態0∈Sが存在して,任意の定常政策fに対してm(f)_<i0>=Σ^^∞__<n-1>nP^f_i(X_k≠0 for 1【less than or equal】k<n,X_n=0)【less than or equal】bが成立すると仮定する。(i)定常政策f^〜が存在して、政策πが任意のi∈Sについて<lim>___<n→∞>1/(n+1)V^π_i(Σ^^n__<k0>(〓(X_k,Δ_k))=0かつ<lim sup>___<n→∞>1/(n+1)Σ^^n__<k-0>E^π_i(〓^〜(X_k,Δ_k))【greater than or equal】0を満たせば,ψ(i,f^〜)【less than or equal】ψ(i,π)。(ここで,〓,〓^〜は,それぞれx(i,π),ψ(i,π)に関する最適方程式から得られる関数。)(ii)Sが有限ならば、(i)のf^〜は,平均最適政策の中で最小の分散を与える。また,(iii)ψ(i,f)をdeviation行列を使ってexplicitに求めた。(iv)過渡的状態i∈Sから出発して2つ以上の再帰的クラスに到達するとき,ψ(i,f)=∞となることを示した。上記では,r(i,a)は関数であるが,これを確率変数として与えた場合にも、類似の結果が得られることを示した。

Maximizing the expected value and minimizing the dispersion of the MDP results are obtained. MDP is computable state space S, finite decision space A(i), transition certainty p=(p(a)_<ij>;i,j∈S), all bounded direct gains {r(i,a);i∈S,a∈A(i)} are defined. Policy π=(π_0,π_1,…), especially steady policy π f. The initial state i∈S and policy πAverage expected gain (average) dispersion x(i,π)=<lim inf>__<n→∞>1/(n+1)E^π_i[Σ^^n_<k-0>r(X_k,Δ_k)], φ (i,π)=<lim sup>__<n→∞>1/(n+1)V^π_i[Σ^^n_<k=0>r(X_k,Δ_k)]. x(i,π^*)=max{x(i,π);πTheorem 1. A fixed number b>0 and a state 0∈S exist, and any steady state policy f corresponds to m(f)_<i0>=Σ^∞__<n-1>nP^f_i(X_k≠0 for 1 [less than or equal] k<n,X_n=0)[less than or equal] b holds. (i)The constant policy f^~ always exists, the policy π is arbitrary i∈S_<lim>_<n→∞>1/(n+1)V^π_i(Σ^^n__<k0>((X_k,Δ_k))=0_<lim sup>_<n→∞>1/(n+1)Σ^^n__<k-0>E^π_i(^~(X_k,Δ_k))[greater than or equal] 0, psi (i,f^~)[less than or equal] psi (i,π). (,^~, x(i,π), φ (i,π) (ii)S The average optimal policy is the smallest dispersion.また,(iii)ψ(i,f)をdeviation行列を使ってexplicitに求めた。(iv)The transition state i∈S starts from the beginning and ends from the beginning to the end. The transition state i ∈ S starts from the beginning and ends from the end. The transition state i ∈ S starts from the end and ends from the end. The transition state i ∈ (i,f)=∞. Note that r(i,a) is the correct number of times, and similar results are obtained.