K-spin Hamiltonian for quantum-resolvable Markov decision processes
K-spin Hamiltonian for quantum-resolvable Markov decision processes
复制标题
用于量子可解析马尔可夫决策过程的 K-自旋哈密顿量
DOI：
10.1007/s42484-020-00026-6
复制
发表时间：
2020
影响因子：
4.8
通讯作者：
Jones, Wesley
中科院分区：
文献类型：
--
作者：
Jones, Eric B.;Graf, Peter;Kapit, Eliot;Jones, Wesley
马尔可夫决策过程是现代强化学习领域的数学形式化，当转换和奖励函数未知时。我们推导出一个伪布尔成本函数，相当于一个K-自旋哈密顿表示的离散的，有限的，折扣马尔可夫决策过程与无限的地平线。该K自旋哈密顿量给出了一个起点，从该起点使用启发式量子算法（诸如绝热量子退火和近期量子硬件上的量子近似优化算法）来求解最优策略。在争论变分最小化我们的哈密顿近似等于贝尔曼最优性条件的一类普遍的环境中，我们建立了一个有趣的类比与经典场论。沿着概念验证计算，通过模拟和量子退火来验证我们的公式，以对抗经典的Q-Learning，我们分析了在量子硬件上解决我们的哈密顿量所需的物理资源的缩放。
The Markov decision process is the mathematical formalization underlying the modern field of reinforcement learning when transition and reward functions are unknown. We derive a pseudo-Boolean cost function that is equivalent to a K-spin Hamiltonian representation of the discrete, finite, discounted Markov decision process with infinite horizon. This K-spin Hamiltonian furnishes a starting point from which to solve for an optimal policy using heuristic quantum algorithms such as adiabatic quantum annealing and the quantum approximate optimization algorithm on near-term quantum hardware. In arguing that the variational minimization of our Hamiltonian is approximately equivalent to the Bellman optimality condition for a prevalent class of environments we establish an interesting analogy with classical field theory. Along with proof-of-concept calculations to corroborate our formulation by simulated and quantum annealing against classical Q-Learning, we analyze the scaling of physical resources required to solve our Hamiltonian on quantum hardware.
登录
查看更多内容
影响因子：
4
作者：
Fiori MC;Reuss L;Cuello LG;Altenberg GA
通讯作者：
Altenberg GA
影响因子：
56.9
作者：
Silver, David;Hubert, Thomas;Hassabis, Demis
通讯作者：
Hassabis, Demis
DOI：
10.5555/1756006.1953033
发表时间：
2010-03
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Evangelos A. Theodorou;J. Buchli;S. Schaal
通讯作者：
Evangelos A. Theodorou;J. Buchli;S. Schaal
马尔可夫过程作为场论的工具
DOI：
--
发表时间：
1983
期刊：
影响因子：
--
作者：
E. Dynkin
通讯作者：
E. Dynkin
影响因子：
2.5
作者：
A. Lucas
通讯作者：
A. Lucas