On the Quality of Wall Time Estimates for Resource Allocation Prediction
On the Quality of Wall Time Estimates for Resource Allocation Prediction
复制标题
关于资源分配预测的墙时间估计的质量
DOI：
10.1145/3339186.3339204
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Streit
中科院分区：
文献类型：
--
作者：
Soysal;Berghoff;Klusáček;Streit
今天的HPC系统在存储I/O瓶颈方面遇到了越来越多的问题。同时，在高性能计算系统的计算节点上，新的存储技术也在不断涌现。如何使计算节点本地存储可用于HPC系统，有许多想法和方法。要考虑的一个问题是提前将作业数据复制到计算节点本地磁盘。要做到这一点，必须事先知道分配的节点。本文研究了高性能计算（HPC）批调度系统的节点分配行为。我们的目标是根据调度器的预测，确定是否有可能提前安排数据。我们表明，要可靠地预测节点分配，时间估计必须非常出色。在现实中，实现提前数据分期所需的精度是很难实现的。因此，必须修改（标准）批调度程序的行为，以实现有效的提前数据分级。
Today's HPC systems experience steadily increasing problems with the storage I/O bottleneck. At the same time, new storage technologies are emerging in the compute nodes of HPC systems. There are many ideas and approaches how compute-node local storage can be made usable for HPC systems. One consideration is to copy job data to the compute-node local disks in advance. To accomplish this, the allocated nodes must be known in advance. In this paper, we look at the node allocation behavior of a HPC batch scheduling system. Our goal is to determine whether it is possible to stage data in advance, based on scheduler predictions. We show that wall time estimates must be excellent to reliably predict node allocations. In reality, the required accuracy enabling advance data staging is hard to achieve. Therefore, the behavior of (standard) batch scheduler have to be modified in order to enable efficient advance data staging.
登录
查看更多内容
ADA-FS - 通过极端规模的临时文件系统进行高级数据放置
DOI：
--
发表时间：
2020
期刊：
Software for Exascale Computing
影响因子：
--
作者：
Sebastian Oeste;Marc;Mehmet Soysal;W. Nagel;A. Brinkmann;A. Streit
通讯作者：
A. Streit
康奈尔理论中心 IBM SP2 上的工作负载演变
DOI：
--
发表时间：
1996
期刊：
Job Scheduling Strategies for Parallel Processing
影响因子：
--
作者：
S. Hotovy
通讯作者：
S. Hotovy
GekkoFS - 用于 HPC 应用程序的临时分布式文件系统
DOI：
10.1109/cluster.2018.00049
发表时间：
2018
期刊：
2018 IEEE International Conference on Cluster Computing (CLUSTER)
影响因子：
--
作者：
Miranda;Cortes;Brinkmann
通讯作者：
Brinkmann
DOI：
--
发表时间：
2007
期刊：
IEEE International Parallel and Distributed Processing Symposium
影响因子：
--
作者：
Warren Smith
通讯作者：
Warren Smith
在 HPC 环境中使用按需文件系统
DOI：
--
发表时间：
2019
期刊：
International Symposium on High Performance Computing Systems and Applications
影响因子：
--
作者：
Mehmet Soysal;M. Berghoff;T. Zirwes;Marc;Sebastian Oeste;A. Brinkmann;W. Nagel;A. Streit
通讯作者：
A. Streit