Learned Load Balancing
Learned Load Balancing
复制标题
学习负载平衡
DOI：
10.1145/3571306.3571403
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Subramanian, Kausik
中科院分区：
文献类型：
--
作者：
Chang, Brian;Akella, Aditya;D'Antoni, Loris;Subramanian, Kausik
有效平衡数据中心网络中的流量是一个重要的运营目标。大多数现有的负载平衡方法都是根据网络和/或网络工作负载的结构手工设计的。因此，如果底层网络条件发生变化，例如由于硬故障或灰色故障、网络拓扑演变或工作负载变化，则需要新的负载平衡策略。虽然理论上我们可以通过解决给定特定流量和拓扑条件的优化问题来导出最佳负载平衡策略，但这些问题需要花费太多时间来解决，并且使得导出的解决方案部署起来过时。在本文中，我们描述了一种负载平衡方案学习负载平衡（LLB），它是为给定网络拓扑和工作负载寻找最佳负载平衡策略的通用方法，并且在实践中足够快地部署推断的策略。 LLB 使用深度监督学习技术来学习如何处理不同的流量模式和拓扑变化，并适应底层网络中的任何故障。 LLB 利用网络遥测、可编程交换和“智能”NIC 领域的新兴趋势。我们的实验表明，LLB 在故障下表现良好，并且可以扩展到更复杂的多层网络拓扑。我们还在 smartNIC 上建立了神经网络推理原型，以证明 LLB 的可行性。
Effectively balancing traffic in datacenter networks is a crucial operational goal. Most existing load balancing approaches are handcrafted to the structure of the network and/or network workloads. Thus, new load balancing strategies are required if the underlying network conditions change, e.g., due to hard or grey failures, network topology evolution, or workload shifts. While we can theoretically derive the optimal load balancing strategy by solving an optimization problem given certain traffic and topology conditions, these problems take too much time to solve and makes the derived solution stale to deploy. In this paper, we describe a load balancing scheme Learned Load Balancing (LLB), which is a general approach to finding an optimal load balancing strategy for a given network topology and workload, and is fast enough in practice to deploy the inferred strategies. LLB uses deep supervised learning techniques to learn how to handle different traffic patterns and topology changes, and adapts to any failures in the underlying network. LLB leverages emerging trends in network telemetry, programmable switching, and "smart" NICs. Our experiments show that LLB performs well under failures and can be expanded to more complex, multi-layered network topologies. We also prototype neural network inference on smartNICs to demonstrate the workability of LLB.
登录
查看更多内容
DOI：
--
发表时间：
2019-07
期刊：
--
影响因子：
--
作者：
Dmitry Duplyakin;R. Ricci;Aleksander Maricq;Gary Wong;Jonathon Duerig;E. Eide;L. Stoller;Mike Hibler;David Johnson;Kirk Webb;Aditya Akella;Kuang-Ching Wang;Glenn Ricart;L. Landweber;C. Elliott;M. Zink;E. Cecchet;Snigdhaswin Kar;Prabodh Mishra
通讯作者：
Dmitry Duplyakin;R. Ricci;Aleksander Maricq;Gary Wong;Jonathon Duerig;E. Eide;L. Stoller;Mike Hibler;David Johnson;Kirk Webb;Aditya Akella;Kuang-Ching Wang;Glenn Ricart;L. Landweber;C. Elliott;M. Zink;E. Cecchet;Snigdhaswin Kar;Prabodh Mishra
DOI：
10.1145/3341302.3342080
发表时间：
2018-10
期刊：
Proceedings of the ACM Special Interest Group on Data Communication
影响因子：
--
作者：
Hongzi Mao;Malte Schwarzkopf;S. Venkatakrishnan;Zili Meng;Mohammad Alizadeh
通讯作者：
Hongzi Mao;Malte Schwarzkopf;S. Venkatakrishnan;Zili Meng;Mohammad Alizadeh
DOI：
10.1145/3341302.3342221
发表时间：
2019-02
期刊：
Proceedings of the ACM Special Interest Group on Data Communication
影响因子：
--
作者：
Eric Liang;Hang Zhu;Xin Jin;I. Stoica
通讯作者：
Eric Liang;Hang Zhu;Xin Jin;I. Stoica
DOI：
--
发表时间：
2019-02
期刊：
--
影响因子：
--
作者：
Kuo-Feng Hsu;Ryan Beckett;Ang Chen;J. Rexford;Praveen Tammana;D. Walker
通讯作者：
Kuo-Feng Hsu;Ryan Beckett;Ang Chen;J. Rexford;Praveen Tammana;D. Walker
通过测量 Winny 网络下载过程中的关键变化来分析过孔行为
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
清川皓太;山本眞也;柴田直樹;安本慶一;伊藤実;小泉貴嗣,大坐畠智,川島幸之助
通讯作者：
小泉貴嗣,大坐畠智,川島幸之助