Twister2 Cross‐platform resource scheduler for big data
Twister2 Cross‐platform resource scheduler for big data
复制标题
Twister2 大数据跨平台资源调度器
DOI：
10.1002/cpe.6502
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Fox, Geoffrey
中科院分区：
文献类型：
--
作者：
Uyar, Ahmet;Gunduz, Gurhan;Kamburugamuve, Supun;Wickramasinghe, Pulasthi;Widanage, Chathura;Govindarajan, Kannan;Perera, Niranda;Abeykoon, Vibhatha;Akkas, Selahattin;Fox, Geoffrey
Twister2 是一个开源大数据托管环境，旨在大规模处理批量和流数据。 Twister2 在高性能计算 (HPC) 和大数据集群中运行作业。它提供了一个跨平台的资源调度程序来在不同的环境中运行作业。 Twister2采用分层架构设计，可以支持各种集群和大数据问题。在本文中，我们提出了 Twister2 的跨平台资源调度器。我们确定所需的服务并解释实施细节。我们展示了 Kubernetes 和 OpenMPI 集群中单个作业和多个并发作业的作业启动延迟。我们比较了 Kubernetes 集群中 Twister2 和 Spark 的作业启动延迟。此外，我们还比较了 terasort 算法在 Kubernetes 和 AWS 云裸机集群上的性能。
Twister2 is an open‐source big data hosting environment designed to process both batch and streaming data at scale. Twister2 runs jobs in both high‐performance computing (HPC) and big data clusters. It provides a cross‐platform resource scheduler to run jobs in diverse environments. Twister2 is designed with a layered architecture to support various clusters and big data problems. In this paper, we present the cross‐platform resource scheduler of Twister2. We identify required services and explain implementation details. We present job startup delays for single jobs and multiple concurrent jobs in Kubernetes and OpenMPI clusters. We compare job startup delays for Twister2 and Spark at a Kubernetes cluster. In addition, we compare the performance of terasort algorithm on Kubernetes and bare metal clusters at AWS cloud.
登录
查看更多内容
超大规模计算的分区并行作业调度
DOI：
10.1007/978-3-642-35867-8_9
发表时间：
2012
期刊：
2014 22nd Euromicro International Conference on Parallel, Distributed, and Network-Based Processing
影响因子：
--
作者：
David Brelsford;G. Chochia;Nathan Falk;Kailash Marthi;Ravindra Sure;N. Bobroff;L. Fong;Seetharami R. Seelam
通讯作者：
Seetharami R. Seelam
任务调度
DOI：
10.1145/2560015
发表时间：
2014
期刊：
ACM Transactions on Embedded Computing Systems (TECS)
影响因子：
--
作者：
M. Maggio;F. Terraneo;A. Leva
通讯作者：
A. Leva
DOI：
10.1109/hpbdis.2019.8735495
发表时间：
2019-05
期刊：
2019 International Conference on High Performance Big Data and Intelligent Systems (HPBD&IS)
影响因子：
--
作者：
P. Wickramasinghe;Supun Kamburugamuve;K. Govindarajan;V. Abeykoon;Chathura Widanage;Niranda Perera;A. Uyar;Gurhan Gunduz;Selahattin Akkas;G. Fox
通讯作者：
P. Wickramasinghe;Supun Kamburugamuve;K. Govindarajan;V. Abeykoon;Chathura Widanage;Niranda Perera;A. Uyar;Gurhan Gunduz;Selahattin Akkas;G. Fox
DOI：
10.1145/3386367.3432588
发表时间：
2020-11
期刊：
Proceedings of the 16th International Conference on emerging Networking EXperiments and Technologies
影响因子：
--
作者：
Haoyu Wang;Zetian Liu;Haiying Shen
通讯作者：
Haoyu Wang;Zetian Liu;Haiying Shen
DOI：
10.1109/ccgrid49817.2020.00-66
发表时间：
2020-05
期刊：
2020 20th IEEE/ACM International Symposium on Cluster, Cloud and Internet Computing (CCGRID)
影响因子：
--
作者：
Jingoo Han;M. M. Rafique-M.;Luna Xu;A. Butt;Seung-Hwan Lim;Sudharshan S. Vazhkudai
通讯作者：
Jingoo Han;M. M. Rafique-M.;Luna Xu;A. Butt;Seung-Hwan Lim;Sudharshan S. Vazhkudai