Online RL in the programmable dataplane with OPaL
Online RL in the programmable dataplane with OPaL
复制标题
使用 OPaL 在可编程数据平面中进行在线强化学习
DOI：
10.1145/3485983.3493345
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Simpson K
中科院分区：
文献类型：
--
作者：
Simpson K
强化学习（RL）是数据驱动网络中用于在线学习控制系统的关键工具。虽然最近的研究表明如何将机器学习任务卸载到数据平面（减少处理延迟），但在线学习仍然是一个开放的挑战，除非将模型移回主机CPU，从而损害延迟敏感的应用程序。我们的海报介绍了OPaL-On Path Learning-第一个将在线强化学习带到数据平面的工作。OPaL使在线学习在SmartNIC/NPU硬件中成为可能，通过返回到经典的RL技术-避免神经网络。这简化了更新逻辑，实现了在线学习，并从SmartDisk常见的并行性中受益匪浅。我们表明，我们的Netronome SmartNIC硬件上的实现提供了具体的延迟改进主机执行。
Reinforcement learning (RL) is a key tool in data-driven networking for learning to control systems online. While recent research has shown how to offload machine learning tasks to the dataplane (reducing processing latency), online learning remains an open challenge unless the model is moved back to a host CPU, harming latency-sensitive applications. Our poster introducesOPaL---On Path Learning---the first work to bringonline reinforcement learningto the dataplane. OPaL makes online learning possible in SmartNIC/NPU hardware by returning to classical RL techniques---avoiding neural networks. This simplifies update logic, enabling online learning, and benefits well from the parallelism common to SmartNICs. We show that our implementation on Netronome SmartNIC hardware offers concrete latency improvements over host execution.
DOI：
10.1109/tnsm.2019.2960202
发表时间：
2020-03
影响因子：
5.3
作者：
Kyle A. Simpson;S. Rogers;D. Pezaros
通讯作者：
Kyle A. Simpson;S. Rogers;D. Pezaros