Neural Contextual Bandits with Deep Representation and Shallow Exploration-猫眼课题宝

DOI：

发表时间：

2020-12

期刊：

ArXiv

影响因子：

通讯作者：

中科院分区：

其他

文献类型：

作者：

Pan Xu;Zheng Wen;Handong Zhao;Quanquan Gu

我们研究一类一般的上下文强盗，其中每个上下文动作对都与一个原始特征向量相关联，但奖励生成函数是未知的。我们提出了一种新颖的学习算法，该算法使用深度 ReLU 神经网络的最后一个隐藏层（深度表示学习）来转换原始特征向量，并使用置信上限（UCB）方法在最后一个线性层中进行探索（浅层探索）。我们证明，在标准假设下，我们提出的算法实现了 $\tilde{O}(\sqrt{T})$ 有限时间遗憾，其中 $T$ 是学习时间范围。与现有的神经上下文强盗算法相比，我们的方法在计算上更加高效，因为它只需要在深度神经网络的最后一层进行探索。

We study a general class of contextual bandits, where each context-action pair is associated with a raw feature vector, but the reward generating function is unknown. We propose a novel learning algorithm that transforms the raw feature vector using the last hidden layer of a deep ReLU neural network (deep representation learning), and uses an upper confidence bound (UCB) approach to explore in the last linear layer (shallow exploration). We prove that under standard assumptions, our proposed algorithm achieves $\tilde{O}(\sqrt{T})$ finite-time regret, where $T$ is the learning time horizon. Compared with existing neural contextual bandit algorithms, our approach is computationally much more efficient since it only needs to explore in the last layer of the deep neural network.

Neural Contextual Bandits with Deep Representation and Shallow Exploration

文献摘要

相似文献