Exponential Family Model-Based Reinforcement Learning via Score Matching
Exponential Family Model-Based Reinforcement Learning via Score Matching
复制标题
DOI：
--
复制
发表时间：
2021-12
期刊：
影响因子：
--
通讯作者：
Gen Li;Junbo Li;N. Srebro;Zhaoran Wang;Zhuoran Yang
中科院分区：
文献类型：
--
作者：
Gen Li;Junbo Li;N. Srebro;Zhaoran Wang;Zhuoran Yang
我们提出了一个乐观的基于模型的算法，被称为SMRL，有限视野情景强化学习（RL）时，过渡模型是由指数族分布与$d$参数和奖励是有界的和已知的。SMRL使用分数匹配，这是一种非归一化密度估计技术，可以通过岭回归有效估计模型参数。在标准的规律性假设下，SMRL实现了$\tilde O（d\sqrt{H^3T}）$在线后悔，其中$H$是每个情节的长度，$T$是交互的总数（忽略结构尺度参数的多项式依赖）。
We propose an optimistic model-based algorithm, dubbed SMRL, for finite-horizon episodic reinforcement learning (RL) when the transition model is specified by exponential family distributions with $d$ parameters and the reward is bounded and known. SMRL uses score matching, an unnormalized density estimation technique that enables efficient estimation of the model parameter by ridge regression. Under standard regularity assumptions, SMRL achieves $\tilde O(d\sqrt{H^3T})$ online regret, where $H$ is the length of each episode and $T$ is the total number of interactions (ignoring polynomial dependence on structural scale parameters).