A Layered Approach for Modular Container Construction and Orchestration in HPC Environments
A Layered Approach for Modular Container Construction and Orchestration in HPC Environments
复制标题
HPC 环境中模块化容器构建和编排的分层方法
DOI：
10.1145/3452370.3466001
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Widener, Patrick
中科院分区：
文献类型：
--
作者：
Wofford, Quincy;Bridges, Patrick G.;Widener, Patrick
大规模、高通量计算科学面临着软件和硬件加速融合的问题。基于软件容器的解决方案在基于云的数据中心环境中已经变得很常见，并且被认为是解决异构性和可移植性问题的有前途的工具。然而，容器解决方案反映了一组假设，这些假设使科学工作流应用程序的开发人员和用户的采用变得复杂。容器也不是在高性能计算（HPC）环境中部署的通用解决方案，这些环境具有专门的和垂直集成的调度和运行时软件栈。在本文中，我们提出了一种容器设计和部署方法，该方法使用模块化分层来简化将容器部署到现有HPC环境中的过程。这种分层的方法允许操作系统集成，支持不同的通信和性能监控库，以及隔离定义和交换应用程序代码。我们在本文中描述了我们的方法的细节，包括关于不同HPC调度系统的容器部署和编排的细节。我们还描述了如何使用这种分层方法为两个单独的应用程序构建容器，每个应用程序部署在具有不同批处理器、MPI网络支持和性能监控要求的集群上。我们的经验表明，分层方法是一种可行的策略，用于构建旨在跨广泛变化的部署目标提供类似行为的应用程序。
Large-scale, high-throughput computational science faces an accelerating convergence of software and hardware. Software container-based solutions have become common in cloud-based datacenter environments, and are considered promising tools for addressing heterogeneity and portability concerns. However, container solutions reflect a set of assumptions which complicate their adoption by developers and users of scientific workflow applications. Nor are containers a universal solution for deployment in high-performance computing (HPC) environments which have specialized and vertically integrated scheduling and runtime software stacks. In this paper, we present a container design and deployment approach which uses modular layering to ease the deployment of containers into existing HPC environments. This layered approach allows operating system integrations, support for different communication and performance monitoring libraries, and application code to be defined and interchanged in isolation. We describe in this paper the details of our approach, including specifics about container deployment and orchestration for different HPC scheduling systems. We also describe how this layering method can be used to build containers for two separate applications, each deployed on clusters with different batch schedulers, MPI networking support, and performance monitoring requirements. Our experience indicates that the layered approach is a viable strategy for building applications intended to provide similar behavior across widely varying deployment targets.
登录
查看更多内容
采用 Docker Swarm 模式的分布式 MPI 集群
DOI：
--
发表时间：
2017
期刊：
Computing and Communication Workshop and Conference
影响因子：
--
作者：
Nikyle Nguyen;Doina Bein
通讯作者：
Doina Bein
HPC 容器运行时对性能的影响很小或没有
DOI：
10.1109/canopie-hpc49598.2019.00010
发表时间：
2019
期刊：
2019 IEEE/ACM International Workshop on Containers and New Orchestration Paradigms for Isolated Environments in HPC (CANOPIE-HPC)
影响因子：
--
作者：
Alfred Torrez;Timothy Randles;R. Priedhorsky
通讯作者：
R. Priedhorsky
下一代云、Chameleon 云测试台和软件定义网络 (SDN)
DOI：
10.1109/icccri.2015.10
发表时间：
2015
期刊：
2015 International Conference on Cloud Computing Research and Innovation (ICCCRI)
影响因子：
--
作者：
J. Mambretti;J. Chen;F. Yeh
通讯作者：
F. Yeh
PMIx：百亿亿次环境的流程管理
DOI：
10.1145/3127024.3127027
发表时间：
2017
期刊：
Proceedings of the 24th European MPI Users' Group Meeting
影响因子：
--
作者：
R. Castain;David G. Solt;Joshua Hursey;A. Bouteiller
通讯作者：
A. Bouteiller
将容器有效集成到科学工作流程中
DOI：
10.1145/3217880.3217887
发表时间：
2018
期刊：
ScienceCloud Workshop at HPDC
影响因子：
--
作者：
Sweeney, Kyle M.;Thain, Douglas
通讯作者：
Thain, Douglas