Airavata Metascheduler: A Reliable, Fault Tolerant, and Resource-Aware Job Scheduling Service
Airavata Metascheduler: A Reliable, Fault Tolerant, and Resource-Aware Job Scheduling Service
复制标题
Airavata Metascheduler：可靠、容错且资源感知的作业调度服务
DOI：
10.1145/3569951.3593605
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Pierce, Marlon
中科院分区：
文献类型：
--
作者：
Ranawaka, Isuru;Abeysinghe, Eroma;Wannipurage, Dimuthu;De Silva, Dinuka;Brookes, Emre;Marru, Suresh;Christie, Marcus;Pamidighantam, Sudhakar;Pierce, Marlon
软件即服务科学网关提供用户界面和中间件，用于访问部署在远程高性能计算资源和集群上的科学软件。选择用于特定作业提交的资源可以留给用户，当从多个选项中选择时，用户可能需要更多信息来做出好的选择。为了解决这个问题，我们已经设计和开发了一个可扩展的，可伸缩的元调度系统，可以提供自动调度功能的基础上的资源可用性和其他特性。我们开发了一个基于排队论的系统模型，以指导我们的实施，并提供了分析的基础。特别是，我们从这些考虑中得出一个效率度量。我们在开源的Apache Airavata框架中实现了科学网关的元数据处理系统，作为指导作业提交功能的补充服务。我们在代表性场景中测量效率，即使在高投入率和低工作接受率的场景中，效率也超过70%。
Software-as-a-service science gateways provide user interfaces and middleware for accessing scientific software deployed on remote high-performance computing resources and clusters. Selecting the resource to use for a particular job submission may be left to the user, who may need more information to make good choices when selecting from multiple options. To address this problem, we have designed and developed an extensible, scalable metascheduling system that can provide automated scheduling capabilities based on resource availability and other characteristics. We develop a system model based on queuing theory to guide our implementation and provide a basis for analysis. In particular, we derive an efficiency metric from these considerations. We implement the metascheduling system within the open-source Apache Airavata framework for science gateways as a supplemental service for guiding the job submission capabilities. We measure efficiency in representative scenarios, observing efficiencies of greater than 70% even in scenarios with high input rates and low job acceptance rates.
登录
查看更多内容
DOI：
10.1145/3466772.3467047
发表时间：
2021-06
期刊：
Proceedings of the Twenty-second International Symposium on Theory, Algorithmic Foundations, and Protocol Design for Mobile Networks and Mobile Computing
影响因子：
--
作者：
Tuhinangshu Choudhury;Gauri Joshi;Weina Wang;S. Shakkottai
通讯作者：
Tuhinangshu Choudhury;Gauri Joshi;Weina Wang;S. Shakkottai
DOI：
10.1109/mtags.2008.4777910
发表时间：
2008
期刊：
2008 Workshop on Many-Task Computing on Grids and Supercomputers
影响因子：
--
作者：
E. Afgan;P. Bangalore
通讯作者：
P. Bangalore
DOI：
--
发表时间：
--
期刊：
--
影响因子：
--
作者：
R. Buyya;Shin Chee;Yeo;S. Venugopal;J. Broberg;I. Brandić
通讯作者：
R. Buyya;Shin Chee;Yeo;S. Venugopal;J. Broberg;I. Brandić
DOI：
10.1080/0020739x.2011.562313
发表时间：
2011
影响因子：
0.9
作者：
A. Csenki
通讯作者：
A. Csenki
RADICAL-Pilot 和 Parsl：在 HPC 平台上执行异构工作流程
DOI：
10.1109/works56498.2022.00009
发表时间：
2022
期刊：
2022 IEEE/ACM Workshop on Workflows in Support of Large-Scale Science (WORKS
影响因子：
--
作者：
Alsaadi, Aymen;Ward, Logan;Merzky, Andre;Chard, Kyle;Foster, Ian;Jha, Shantenu;Turilli, Matteo
通讯作者：
Turilli, Matteo