Efficient Integration of Containers into Scientific Workflows
Efficient Integration of Containers into Scientific Workflows
复制标题
将容器有效集成到科学工作流程中
DOI：
10.1145/3217880.3217887
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Thain, Douglas
中科院分区：
文献类型：
--
作者：
Sweeney, Kyle M.;Thain, Douglas
容器提供了一种强大的方式来为科学应用程序创建可移植性。然而，将它们纳入工作流需要仔细考虑，因为直接的方法可以增加网络使用率和运行时间。我们在这个过程中发现了三个问题：容器组合，容器化工人或作业，以及容器映像转换。为了解决组合问题，我们将数据定义为三种类型：操作系统数据、只读数据和工作数据，并定义了动态组合和静态组合。使用静态组合（为每个作业创建一个容器）会导致在网络上发送重复数据时产生大量浪费。动态组合（单独发送数据类型）启用工作节点上的缓存。为了回答在容器中运行工作线程或作业的问题，我们研究了在容器中运行的成本。最后，当同时使用不同类型的容器技术时，我们发现最好在发送容器镜像之前转换为目标镜像类型，而不是在作业节点重复相同的转换，从而浪费更多时间。
Containers offer a powerful way to create portability for scientific applications. However yet incorporating them into workflows requires careful consideration, as straightforward approaches can increase network usage and runtime. We identified three issues in this process: container composition, containerizing workers or jobs, and container image translation. To tackle composition, we define data into three types: OS data, Read-Only, andWorking data, and define dynamic and static composition. Using the static composition (creating a single container for each job) leads to massive waste in sending duplicate data over the network. Dynamic composition (sending the data types separately) enables caching on worker nodes. To answer running workers or jobs inside a container, we looked at the costs of running inside of a container. Finally, when using different types of container technologies simultaneously, we found it's better to convert to the target image types before sending the container images, instead of repeating the same conversion at the job nodes, leading to more wasted time.
在 HPC 环境中编排 Docker 容器
DOI：
10.1007/978-3-319-20119-1_36
发表时间：
2015
期刊：
SIGMOD Rec.
影响因子：
--
作者：
Joshua Higgins;Violeta Holmes;Colin C. Venters
通讯作者：
Colin C. Venters
Singularity 2.1.2 - 用于科学的 Linux 应用程序和环境容器
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
G. M. Kurtzer
通讯作者：
G. M. Kurtzer
容器平台中基于任务的并行应用程序的透明编排
影响因子：
5.5
作者：
Cristian Ramon;Albert Serven;J. Ejarque;D. Lezzi;Rosa M. Badia
通讯作者：
Rosa M. Badia