Designing a ROCm-Aware MPI Library for AMD GPUs: Early Experiences
Designing a ROCm-Aware MPI Library for AMD GPUs: Early Experiences
复制标题
为 AMD GPU 设计 ROCm 感知 MPI 库：早期经验
DOI：
10.1007/978-3-030-78713-4_7
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Panda, D K.
中科院分区：
文献类型：
--
作者：
Shafie, K;Hashmi, J;Chu, C;Chen, C;Subramoni, H;Panda, D K.
由于 AMD GPU 的出现及其在即将推出的百亿亿次系统（例如 Frontier）中的采用，为这些系统移植和优化科学应用程序和通信中间件是相关的。 Radeon 开放计算 (ROCm) 平台是一套开源库，专为为 AMD GPU 编写高性能软件而定制。 GPU 感知 MPI 已成为在 GPU 集群上加速 HPC 应用程序的事实上的标准。最先进的 GPU 感知 MPI 库多年来不断发展，以支持 NVIDIA CUDA 平台。由于最近 AMD GPU 的出现，添加对 AMD ROCm 平台的支持同样重要。现有 MPI 库没有对 ROCm 感知通信的本机支持。在本文中，我们接受了在 MVAPICH2-GDR 库中设计 ROCm 感知 MPI 运行时的挑战。我们设计了一个抽象通信层来与 CUDA 和 ROCm 运行时交互。我们利用 PeerDirect、ROCm IPC 和大型 BAR 映射内存等硬件功能来协调基于 GPU 的高效通信。我们通过设计基于软件的方案来进一步增强这些机制，从而产生优化的通信性能。我们使用我们提出的 ROCm 感知 MPI 库和 AMD GPU 集群上带有 UCX 的 Open MPI 来评估 MPI 级点对点和集体操作的性能。我们展示了节点内和节点间通信的带宽分别提高了 3-6 和 2。通过 rocHPCG 应用，我们展示了大约 2.2 更高的 GFLOPs/s。据我们所知，这是第一项研究为 AMD GPU 设计 ROCm 感知 MPI 库所涉及的权衡的研究工作。
Due to the emergence of AMD GPUs and their adoption in upcoming exascale systems (e.g. Frontier), it is pertinent to have scientific applications and communication middlewares ported and optimized for these systems. Radeon Open Compute (ROCm) platform is an open-source suite of libraries tailored towards writing high-performance software for AMD GPUs. GPU-aware MPI, has been the de-facto standard for accelerating HPC applications on GPU clusters. The state-of-the-art GPU-aware MPI libraries have evolved over the years to support NVIDIA CUDA platforms. Due to the recent emergence of AMD GPUs, it is equally important to add support for AMD ROCm platforms. Existing MPI libraries do not have native support for ROCm-aware communication. In this paper, we take up the challenge of designing a ROCm-aware MPI runtime within the MVAPICH2-GDR library. We design an abstract communication layer to interface with CUDA and ROCm runtimes. We exploit hardware features such as PeerDirect, ROCm IPC, and large-BAR mapped memory to orchestrate efficient GPU-based communication. We further augment these mechanisms by designing software-based schemes yielding optimized communication performance. We evaluate the performance of MPI-level point-to-point and collective operations with our proposed ROCm-aware MPI Library and Open MPI with UCX on a cluster of AMD GPUs. We demonstrate 3–6and 2higher bandwidth for intra- and inter-node communication, respectively. With the rocHPCG application, we demonstrate approximately 2.2higher GFLOPs/s. To the best of our knowledge, this is the first research work that studies the tradeoffs involved in designing a ROCm-aware MPI library for AMD GPUs.
使用 HIP 框架将基于 CUDA 的分子动力学算法移植到 AMD ROCm 平台：性能分析
影响因子：
--
作者：
E. Kuznetsov;V. Stegailov
通讯作者：
V. Stegailov