The Need for Precise and Efficient Memory Capacity Budgeting
The Need for Precise and Efficient Memory Capacity Budgeting
复制标题
需要精确、高效的内存容量预算
DOI：
10.1145/3422575.3422791
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Parashar, Manish
中科院分区：
文献类型：
--
作者：
Garg, Shaleen;Kannan, Sudarsun;Parashar, Manish
现代高性能计算（HPC）系统封装了数百个CPU内核以实现极端并行性。然而，随着内核数量的增加，每个内核的有效内存容量正在减少。减少性能瓶颈需要对应用程序内存容量需求进行精确监控和预算，以实现高性能、最大资源效率和低性能变化。不幸的是，当前的操作系统（OS）及其工具集是不准确的，缺乏精确测量应用程序的内存需求的能力，迫使系统管理员低估或过度供应内存，从而分别损害性能或资源效率。我们破译了当前OS中的存储器预算限制及其对同构和异构存储器系统的影响（例如，非易失性存储器）。这些限制主要源于OS内存管理器中应用程序级和全局内存核算之间的不匹配，在运行时修复这一点可能非常昂贵。我们使用广泛使用的内存预算策略和内存管理层的深度仪表化对流行的HPC工作负载进行了分析，结果表明，在同构和异构内存系统中，不精确的预算可以分别将性能降低1.65倍和2.05倍以上。程序的内存需求增加了25倍，但性能没有显著提高。我们还简要介绍了我们正在进行的研究方法，重新设计的预算机制的操作系统。
Modern high performance computing (HPC) systems pack hundreds of CPU cores to enable extreme parallelism. However, with increasing core counts, the effective per-core memory capacity is reducing. Reducing performance bottlenecks require precise monitoring and budgeting of application memory capacity requirements for attaining high performance, maximum resource efficiency, and low performance variability. Unfortunately, current operating systems (OS) and their toolsets are inaccurate, lack the capability to precisely measure the memory requirements of applications, forcing system administrators to either underestimate or over-provision memory, consequently compromising performance or resource efficiency, respectively.In this paper, we decipher the memory budgeting limitations in current OSes and their impact on both homogeneous and heterogeneous memory systems (e.g., nonvolatile memory). The limitations mainly stem from the mismatch between application-level and global memory accounting in the OS memory manager, fixing which can be prohibitively expensive at runtime. Our analysis of popular HPC workloads using widely-used memory budgeting strategies and deep instrumentation of the memory management layer reveals that imprecise budgeting can reduce performance by more than 1.65x and 2.05x in homogeneous and heterogeneous memory systems respectively. The program’s memory requirement increases by up to 25x without significant performance gains. We also briefly describe our ongoing research approach to redesign the budgeting mechanisms in the OS.
登录
查看更多内容
影响因子：
6.3
作者：
BERENDSEN, HJC;VANDERSPOEL, D;VANDRUNEN, R
通讯作者：
VANDRUNEN, R
DOI：
--
发表时间：
2019-03
期刊：
ArXiv
影响因子：
--
作者：
Joseph Izraelevitz;Jian Yang;Lu Zhang;Juno Kim;Xiao Liu;Amirsaman Memaripour;Yun Joon Soh;
通讯作者：
Joseph Izraelevitz;Jian Yang;Lu Zhang;Juno Kim;Xiao Liu;Amirsaman Memaripour;Yun Joon Soh;
领先 HPC 架构上的 Cosmology 包的性能特征
DOI：
--
发表时间：
2004
期刊：
International Conference on High Performance Computing
影响因子：
--
作者：
J. Carter;J. Borrill;L. Oliker
通讯作者：
L. Oliker
RAMDISK 存储加速器：一种使用 RAMDISK 加速 HPC 系统 I/O 性能的方法
DOI：
10.1145/2318916.2318922
发表时间：
2012
影响因子：
5.2
作者：
Tim Wickberg;C. Carothers
通讯作者：
C. Carothers