APRIL: An Application-Aware, Predictive and Intelligent Load Balancing Solution for Data-Intensive Science
APRIL: An Application-Aware, Predictive and Intelligent Load Balancing Solution for Data-Intensive Science
复制标题
APRIL：适用于数据密集型科学的应用感知、预测和智能负载平衡解决方案
DOI：
10.1109/infocom.2019.8737537
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Swanson, David
中科院分区：
文献类型：
--
作者：
Nadig, Deepak;Ramamurthy, Byrav;Bockelman, Brian;Swanson, David
本文针对高吞吐量、分布式计算和数据密集型科学工作流，提出了一种应用感知的智能负载平衡系统。我们利用新兴的深度学习技术进行时间序列建模，开发了一个应用感知的预测分析系统，用于准确预测GridFTP连接负载。我们的解决方案与美国一家主要的CMS Tier-2站点集成；我们使用代表6.7亿GridFTP传输连接的真实数据集，在18个月内进行测量，以推动我们的预测分析解决方案。首先，我们对这个数据集进行了广泛的分析，并以连接负载为例研究了各种用户角色和工作流成员之间的时间依赖关系。利用这些分析，我们设计了一种基于门控递归单元(GRU)的深度递归神经网络(RNN)，用于建模长期时间依赖关系和预测连接负载。我们开发了一种新型的应用感知、预测和智能负载均衡器APRLY，它有效地集成了应用元数据和负载预测信息，以最大限度地提高服务器利用率。我们进行了大量的实验来评估我们的深度RNN预测分析系统的性能，并将其与ARIMA和多层感知器(MLP)预测器等其他方法进行比较。结果表明，根据用户角色的不同，我们的预测模型的性能比其他预测模型要好5.88%-92.6%。我们还通过将其与现有生产Linux虚拟服务器(LVS)集群的负载平衡功能进行比较来演示它的有效性。与LVS方法相比，我们的方法将服务器利用率平均提高了0.5到11倍。
In this paper, we propose an application-aware intelligent load balancing system for high-throughput, distributed computing, and data-intensive science workflows. We leverage emerging deep learning techniques for time-series modeling to develop an application-aware predictive analytics system for accurately forecasting GridFTP connection loads. Our solution integrates with a major U.S. CMS Tier-2 site; we use a real dataset representing 670 million GridFTP transfer connections measured over 18 months to drive our predictive analytics solution. First, we perform extensive analysis on this dataset and use the connection loads as an example to study the temporal dependencies between various user-roles and workflow memberships. We use the analysis to motivate the design of a gated recurrent unit (GRU) based deep recurrent neural network (RNN) for modeling long-term temporal dependencies and predicting connection loads. We develop a novel application-aware, predictive and intelligent load balancer, APRIL, that effectively integrates application metadata and load forecast information to maximize server utilization. We conduct extensive experiments to evaluate the performance of our deep RNN predictive analytics system and compare it with other approaches such as ARIMA and multi-layer perceptron (MLP) predictors. The results show that our forecasting model, depending on the user-role, performs between 5.88%-92.6% better than the alternatives. We also demonstrate the effectiveness of APRIL by comparing it with the load balancing capabilities of an existing production Linux Virtual Server (LVS) cluster. Our approach improves server utilization, on an average, between 0.5 to 11 times, when compared with its LVS counterpart.
登录
查看更多内容
SNAG：用于 GridFTP 传输的 SDN 管理网络架构 I
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
D. Anantha;Zhe Zhang;B. Ramamurthy;B. Bockelman;G. Attebury;D. Swanson
通讯作者：
D. Swanson
基于LVS的IP网络连接状态同步的改进
DOI：
--
发表时间：
2015
期刊：
2015 6th IEEE International Conference on Software Engineering and Service Science (ICSESS)
影响因子：
--
作者：
Kehe Wu;Xiaoxiang Wang;Haisu Chen;Si;Yi Zhou
通讯作者：
Yi Zhou
虚拟化软件定义网络中高效的大链路分配方案
DOI：
--
发表时间：
2017
期刊：
Conference on Network and Service Management
影响因子：
--
作者：
Wontae Jeong;Gyeongsik Yang;Seong;C. Yoo
通讯作者：
C. Yoo
globus 可扩展输入/输出系统 (XIO)：一种独立于协议的电网 IO 系统
DOI：
--
发表时间：
2005
期刊：
IEEE International Parallel and Distributed Processing Symposium
影响因子：
--
作者：
W. Allcock;J. Bresnahan;R. Kettimuthu;Joseph M. Link
通讯作者：
Joseph M. Link
DOI：
10.1109/scc.2016.133
发表时间：
2016-06
期刊：
2016 IEEE International Conference on Services Computing (SCC)
影响因子：
--
作者：
Pu Wang;Shih-Chun Lin;Min Luo
通讯作者：
Pu Wang;Shih-Chun Lin;Min Luo