SARSA(0) Reinforcement Learning over Fully Homomorphic Encryption
SARSA(0) Reinforcement Learning over Fully Homomorphic Encryption
复制标题
SARSA(0) 全同态加密的强化学习
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Takashi Tanaka
中科院分区：
文献类型：
--
作者：
Jihoon Suh;Takashi Tanaka
我们考虑了一个基于云的控制架构，其中本地工厂将控制合成任务外包给云。特别是，我们考虑基于云的强化学习（RL），其中更新值函数被外包给云。为了实现机密性，我们实现了全同态加密（FHE）的计算。我们使用一个CKKS加密方案和一个修改的SARSA（0）强化学习，以纳入预防引起的延迟。然后，我们给出了SARSA（0）的延迟更新规则与阻塞机制的收敛性结果。最后，我们通过一个经典的极点平衡问题的实现给出了一个数值演示。
We consider a cloud-based control architecture in which the local plants outsource the control synthesis task to the cloud. In particular, we consider a cloud-based reinforcement learning (RL), where updating the value function is outsourced to the cloud. To achieve confidentiality, we implement computations over Fully Homomorphic Encryption (FHE). We use a CKKS encryption scheme and a modified SARSA(0) reinforcement learning to incorporate the encryption-induced delays. We then give a convergence result for the delayed updated rule of SARSA(0) with a blocking mechanism. We finally present a numerical demonstration via implementing on a classical pole-balancing problem.