Semi-Parametric Efficient Policy Learning with Continuous Actions
Semi-Parametric Efficient Policy Learning with Continuous Actions
复制标题
持续行动的半参数高效策略学习
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
V. Chernozhukov
中科院分区：
文献类型：
--
作者：
Mert Demirer;Vasilis Syrgkanis;Greg Lewis;V. Chernozhukov
我们考虑了连续动作空间的离线评估和优化。我们专注于观察数据，其中数据收集政策是未知的，需要从数据中估计。我们采用半参数方法，其中值函数在处理中采用已知的参数形式，但我们不知道它如何取决于观察到的上下文。我们提出了一个双鲁棒的关闭政策的估计，这种设置和关闭政策优化的基础上，这个双鲁棒估计是强大的政策函数或回归模型的估计误差。我们还表明，我们的离政策估计的方差达到半参数效率界。我们的结果也适用，如果模型不满足我们的半参数形式，而是我们衡量遗憾的最佳投影的真值函数到这个功能空间。我们的工作扩展了以前的政策优化方法，从观察数据，只考虑离散的行动。我们提供了一个实验评估，我们的方法在一个合成数据的例子，最佳个性化定价的动机。
We consider off-policy evaluation and optimization with continuous action spaces. We focus on observational data where the data collection policy is unknown and needs to be estimated from data. We take a semi-parametric approach where the value function takes a known parametric form in the treatment, but we are agnostic on how it depends on the observed contexts. We propose a doubly robust off-policy estimate for this setting and show that off-policy optimization based on this doubly robust estimate is robust to estimation errors of the policy function or the regression model. We also show that the variance of our off-policy estimate achieves the semi-parametric efficiency bound. Our results also apply if the model does not satisfy our semi-parametric form but rather we measure regret in terms of the best projection of the true value function to this functional space. Our work extends prior approaches of policy optimization from observational data that only considered discrete actions. We provide an experimental evaluation of our method in a synthetic data example motivated by optimal personalized pricing.
影响因子：
4.5
作者：
Qian M;Murphy SA
通讯作者：
Murphy SA
DOI：
--
发表时间：
2018
期刊：
Proceedings of the 21st International Conference on Artificial Intelligence and Statistics (AISTATS
影响因子：
--
作者：
Kallus, Nathan;Zhou, Angela
通讯作者：
Zhou, Angela
影响因子：
6.1
作者：
Athey, Susan;Wager, Stefan
通讯作者：
Wager, Stefan