rvGAHP: push-based job submission using reverse SSH connections
rvGAHP: push-based job submission using reverse SSH connections
复制标题
rvGAHP：使用反向 SSH 连接的基于推送的作业提交
DOI：
10.1145/3150994.3151003
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Deelman, Ewa
中科院分区：
文献类型：
--
作者：
Callaghan, Scott;Juve, Gideon;Vahi, Karan;Maechling, Philip J.;Jordan, Thomas H.;Deelman, Ewa
运行大规模科学工作流应用程序的计算科学研究人员通常希望在最大的可用计算系统上运行他们的工作流，以缩短解决方案的时间。在分布式、异构、高性能计算环境中使用的工作流工具通常依赖于用于从这些计算系统提供资源的基于推或基于拉的方法。然而，许多大型集群已经转向双因素身份验证来提交作业，这使得传统的基于推送的自动作业提交变得不可能。另一方面，基于拉动的方法（如试点作业）可能会导致复杂性增加和节点小时效率降低。在本文中，我们描述了一种基于HTCondor-G的新型高效方法，称为反向GAHP（rvGAHP），它允许我们使用反向SSH提交来推送作业，其效率比基于拉取的方法更高。2017年3月，我们在橡树岭国家实验室的Titan Cray XK 7混合系统上使用SCEC的CyberShake工作流成功地使用这种方法进行了大型概率地震危险性分析研究。
Computational science researchers running large-scale scientific workflow applications often want to run their workflows on the largest available compute systems to improve time to solution. Workflow tools used in distributed, heterogeneous, high performance computing environments typically rely on either a push-based or a pull-based approach for resource provisioning from these compute systems. However, many large clusters have moved to two-factor authentication for job submission, making traditional automated push-based job submission impossible. On the other hand, pull-based approaches such as pilot jobs may lead to increased complexity and a reduction in node-hour efficiency. In this paper, we describe a new, efficient approach based on HTCondor-G called reverse GAHP (rvGAHP) that allows us to push jobs using reverse SSH submissions with better efficiency than pull-based methods. We successfully used this approach to perform a large probabilistic seismic hazard analysis study using SCEC's CyberShake workflow in March 2017 on the Titan Cray XK7 hybrid system at Oak Ridge National Laboratory.
登录
查看更多内容
Blue Waters：持续千万亿次计算
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
C. Beldica
通讯作者：
C. Beldica
SCEC 统一社区速度模型软件框架
影响因子：
3.3
作者：
Small, Patrick;Gill, David;Maechling, Philip J.;Taborda, Ricardo;Callaghan, Scott;Jordan, Thomas H.;Olsen, Kim B.;Ely, Geoffrey P.;Goulet, Christine
通讯作者：
Goulet, Christine
工作队列 + Python：可扩展科学集成应用程序的框架
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
Peter Bui;D. Rajan;Badi Abdul;J. Izaguirre;D. Thain
通讯作者：
D. Thain
海报：PanDA：下一代大数据工作负载管理和分析系统
DOI：
--
发表时间：
2012
期刊：
2012 SC Companion: High Performance Computing, Networking Storage and Analysis
影响因子：
--
作者：
K. De;A. Klimentov;S. Panitkin;M. Titov;A. Vaniachine;T. Wenaus;D. Yu;G. Záruba
通讯作者：
G. Záruba
摘要：PanDA：下一代大数据工作负载管理和分析系统
DOI：
--
发表时间：
2012
期刊：
2012 SC Companion: High Performance Computing, Networking Storage and Analysis
影响因子：
--
作者：
A. Klimentov;A. Vaniachine;K. De;T. Wenaus;S. Panitkin;Dantong Yu;G. Záruba;M. Titov
通讯作者：
M. Titov