FTLLS: A fault tolerant, low latency, distributed scheduling approach based on sparrow
FTLLS: A fault tolerant, low latency, distributed scheduling approach based on sparrow
复制标题
FTLLS：一种基于 Sparrow 的容错、低延迟、分布式调度方法
DOI：
10.1007/s12083-017-0590-4
复制
发表时间：
2017-07
影响因子：
4.2
通讯作者：
Lin C
中科院分区：
文献类型：
--
作者：
Li W;Lin C
大数据处理系统正在朝着更大的并行度和更短的任务持续时间发展，以实现更短的响应时间。调度在亚秒级内完成的高度并行的任务对传统的集中式调度器提出了巨大的挑战。面对这一挑战，研究人员转向分布式调度方法，以避免集中式调度器的吞吐量限制，其中Sparrow是一种领先的设计。然而，对Sparrow的容错研究很少，Sparrow的基于样本的技术存在问题，导致作业不完整和较大的调度延迟。然后，我们提出了容错、低延迟Sparrow(FTLLS)。它为Sparrow扩展了一台辅助机，以处理工人故障并做出更好的调度决策。仿真结果表明，FTLLS能够比朴素的超时方法更快地检测到工人故障，并比原生的Sparrow算法做出更好的调度决策。实验结果表明，FTLLS算法在存在工人故障的情况下保证了不会有未完成的作业，并且与原生的SPARROW相比，调度延迟降低了1.5倍以上。此外，FTLLS所采用的思想的简单性使其适用于各种分布式调度方法。
Big data processing systems are developing towards larger degrees of parallelism and shorter task durations in order to achieve lower response time. Scheduling highly parallel tasks that complete in sub-seconds poses a great challenge to traditional centralized schedulers. Taking the challenge, researchers turn to distributed scheduling approaches to avoid the throughput limitation of centralized schedulers, among which Sparrow is a leading design. However, little effort is devoted to the fault tolerance of Sparrow and there are problems with Sparrow’s sample-based techniques, which gives rise to incomplete jobs and large scheduling latency. We then present Fault Tolerant, Low Latency Sparrow (FTLLS). It extends Sparrow with an assistant machine to handle worker failures and to make better scheduling decisions. Through simulations, it is proved that FTLLS can detect worker failures more quickly than a naive timeout approach and make better scheduling decisions than native Sparrow. Through implementation, the results show that FTLLS guarantees no incomplete jobs at the presence of worker failures and reduces scheduling latencies by over 1.5 × when compared to native Sparrow. In addition, the simplicity of the idea adopted by FTLLS makes it applicable to a wide variety of distributed scheduling approaches.
登录
查看更多内容
DOI：
--
发表时间：
2008
期刊：
--
影响因子：
--
作者：
R. Bryant;Randy H. Katz;Ed Lazowska
通讯作者：
R. Bryant;Randy H. Katz;Ed Lazowska
DOI：
10.1145/75246.75248
发表时间：
1989-08
期刊：
--
影响因子：
--
作者：
A. Demers;S. Keshav;S. Shenker
通讯作者：
A. Demers;S. Keshav;S. Shenker
使用 LEEN 处理 MapReduce 中的分区偏差
影响因子：
4.2
作者：
Shadi Ibrahim;Hai Jin;Lu Lu;Bingsheng He;Gabriel Antoniu;Song Wu
通讯作者：
Song Wu
DOI：
--
发表时间：
2010-06
期刊：
--
影响因子：
--
作者：
M. Zaharia;Mosharaf Chowdhury;Michael J. Franklin;S. Shenker;I. Stoica
通讯作者：
M. Zaharia;Mosharaf Chowdhury;Michael J. Franklin;S. Shenker;I. Stoica
DOI：
--
发表时间：
2011
期刊：
--
影响因子：
--
作者：
N. Xiong
通讯作者：
N. Xiong