Adaptive Task Scheduling Strategy Based on Dynamic Workload Adjustment for Heterogeneous Hadoop Clusters
Adaptive Task Scheduling Strategy Based on Dynamic Workload Adjustment for Heterogeneous Hadoop Clusters
复制标题
基于动态工作负载调整的异构Hadoop集群自适应任务调度策略
DOI：
10.1109/jsyst.2014.2323112
复制
发表时间：
2016-06
影响因子：
4.4
通讯作者：
Wang Xinhen
中科院分区：
文献类型：
--
作者：
Xu Xiaolong(徐小龙);Cao Lingling;Wang Xinhen
Hadoop原有的任务调度算法不能满足异构集群的性能要求。针对异构Hadoop集群中各任务节点负载的动态变化和不同任务节点性能的差异，提出了一种基于动态负载调整的自适应任务调度策略(ATSDWA)。使用ATSDWA，任务跟踪者可以适应运行时负载的变化，根据自己的计算能力获取任务，实现自我调节，同时避免算法的复杂性，这是导致JobTracker成为系统性能瓶颈的根本原因。实验结果表明，ATSDWA是一种高效可靠的算法，能够使异构型Hadoop集群稳定、可扩展、高效、负载均衡。此外，在任务执行时间、资源利用率、加速率等方面，其性能均优于Hadoop原有和改进后的任务调度策略。
The original task scheduling algorithm of Hadoop cannot meet the performance requirements of heterogeneous clusters. According to the dynamic change of load of each task node and the difference of node performance of different tasks in the heterogeneous Hadoop cluster, a novel adaptive task scheduling strategy based on dynamic workload adjustment (ATSDWA) is presented. With ATSDWA, tasktrackers can adapt to the change of load at runtime, obtain tasks in accordance with the computing ability of their own, and realize the self-regulation, while avoiding the complexity of algorithm, which is the prime reason to make jobtracker the system performance bottleneck. Experimental results show that ATSDWA is a highly efficient and reliable algorithm, which can make heterogeneous Hadoop clusters stable, scalable, efficient, and load balancing. Furthermore, its performance is superior to the original and improved task scheduling strategy of Hadoop, from the aspects of the execution time of tasks, the resource utilization, and the speed-up ratio.
登录
查看更多内容
DOI：
--
发表时间：
2009-05
期刊：
--
影响因子：
--
作者：
Tom White
通讯作者：
Tom White
DOI：
--
发表时间：
2012
期刊：
Journal of Software
影响因子：
--
作者：
Tan Yi
通讯作者：
Tan Yi
DOI：
10.1016/j.jpdc.2005.02.003
发表时间：
2005-08
期刊：
J. Parallel Distributed Comput.
影响因子：
--
作者：
X. Qin;Hong Jiang
通讯作者：
X. Qin;Hong Jiang
影响因子：
2.5
作者：
J. Dittrich;Jorge-Arnulfo Quiané-Ruiz;Alekh Jindal;Y. Kargin;Vinay Setty;Jörg Schad
通讯作者：
J. Dittrich;Jorge-Arnulfo Quiané-Ruiz;Alekh Jindal;Y. Kargin;Vinay Setty;Jörg Schad
DOI：
--
发表时间：
2006-12
期刊：
Linux Journal
影响因子：
--
作者：
Rachel E. Walker
通讯作者：
Rachel E. Walker