Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
复制标题
混杂马尔可夫决策过程的离策略置信区间估计
DOI：
10.1080/01621459.2022.2110878
复制
发表时间：
2022
影响因子：
3.7
通讯作者：
Shi C
中科院分区：
文献类型：
--
作者：
Shi C
本文研究在无限水平环境下，基于预先收集的观测数据，离线构建目标保单价值的置信度区间。现有的大多数工作都假定不存在混淆观察到的行为的不可测量变量。然而，在医疗保健和科技行业等实际应用中，这一假设可能会被违反。在本文中，我们证明了在一个混杂的马尔可夫决策过程中，通过一些辅助变量来中介行为对系统动力学的影响，目标策略的值是可辨识的。基于这一结果，我们开发了一种有效的非策略值估计器，该估计器对潜在的模型错误指定具有鲁棒性，并提供严格的不确定性量化。理论结果、模拟数据和从拼车公司获得的真实数据证明了我们的方法是正确的。建议过程的PYTHON实现可在https://github.com/Mamba413/cope.上获得
This article is concerned with constructing a confidence interval for a target policy’s value offline based on a pre-collected observational data in infinite horizon settings. Most of the existing works assume no unmeasured variables exist that confound the observed actions. This assumption, however, is likely to be violated in real applications such as healthcare and technological industries. In this article, we show that with some auxiliary variables that mediate the effect of actions on the system dynamics, the target policy’s value is identifiable in a confounded Markov decision process. Based on this result, we develop an efficient off-policy value estimator that is robust to potential model misspecification and provide rigorous uncertainty quantification. Our method is justified by theoretical results, simulated and real datasets obtained from ridesharing companies. A Python implementation of the proposed procedure is available athttps://github.com/Mamba413/cope.
登录
查看更多内容
DOI：
--
发表时间：
2007
期刊：
Conference on Uncertainty in Artificial Intelligence
影响因子：
--
作者：
Michael P. Holmes;Alexander G. Gray;C. Isbell
通讯作者：
C. Isbell
DOI：
--
发表时间：
2019
期刊：
FAT
影响因子：
--
作者：
Alexander Luedtke;M. J. van der Laan
通讯作者：
M. J. van der Laan
DOI：
--
发表时间：
2020
期刊：
IEEE/RJS International Conference on Intelligent RObots and Systems
影响因子：
--
作者：
Chengxi Li;Stanley H. Chan;Yi
通讯作者：
Yi
影响因子：
2.7
作者：
Zhang B;Tsiatis AA;Laber EB;Davidian M
通讯作者：
Davidian M
因果中介分析，中介值低于测定限度。
影响因子：
2
作者：
Chernofsky,Ariel;Bosch,RonaldJ;Lok,JudithJ
通讯作者：
Lok,JudithJ