Enforcing Almost-Sure Reachability in POMDPs
Enforcing Almost-Sure Reachability in POMDPs
复制标题
在 POMDP 中实施几乎确定的可达性
DOI：
10.1007/978-3-030-81688-9_28
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
S. Seshia
中科院分区：
文献类型：
--
作者：
Sebastian Junges;N. Jansen;S. Seshia
部分可观测马尔可夫决策过程（POMDPs）是一种著名的有限信息下的序贯决策随机模型。我们考虑的EXPTIME困难的问题，合成的政策，几乎肯定达到一些目标状态，从来没有访问一个坏的状态。特别是，我们感兴趣的是计算获胜的区域，也就是说，一组系统配置的策略存在，满足可达性规范。这种获胜区域的直接应用是POMDPs的安全探索，例如，将强化学习代理的行为限制在该区域。我们提出了两种算法：一种新的SAT为基础的迭代方法和决策图为基础的替代。实证评价表明了该方法的可行性和有效性。
Partially-Observable Markov Decision Processes (POMDPs) are a well-known stochastic model for sequential decision making under limited information. We consider the EXPTIME-hard problem of synthesising policies that almost-surely reach some goal state without ever visiting a bad state. In particular, we are interested in computing the winning region, that is, the set of system configurations from which a policy exists that satisfies the reachability specification. A direct application of such a winning region is the safe exploration of POMDPs by, for instance, restricting the behavior of a reinforcement learning agent to the region. We present two algorithms: A novel SAT-based iterative approach and a decision-diagram based alternative. The empirical evaluation demonstrates the feasibility and efficacy of the approaches.
DOI：
10.1016/j.tcs.2014.06.020
发表时间：
2014
期刊：
Theor. Comput. Sci.
影响因子：
--
作者：
Ralf Wimmer;Nils Jansen;Erika Ábráhm;Joost-Pieter Katoen;Bernd Becker
通讯作者：
Bernd Becker
影响因子：
1.3
作者：
Norman, Gethin;Parker, David;Zou, Xueyi
通讯作者：
Zou, Xueyi