How to Manage High-Bandwidth Memory Automatically
How to Manage High-Bandwidth Memory Automatically
复制标题
如何自动管理高带宽内存
DOI：
10.1145/3350755.3400233
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Phillips, Cynthia A.
中科院分区：
文献类型：
--
作者：
Das, Rathish;Agrawal, Kunal;Bender, Michael A.;Berry, Jonathan;Moseley, Benjamin;Phillips, Cynthia A.
本文开发了一个算法基础的自动化管理的多级存储器系统常见的新的超级计算机。特别地，这些系统的高带宽存储器（HBM）具有与DRAM类似的延迟和较小的容量，但是它具有大得多的带宽。由于HBM的非典型特性，配备HBM的系统不适合经典的内存层次模型。与通常由硬件自动管理的缓存不同，一些当前配备HBM的超级计算机的程序员可以选择显式管理HBM。这一进程针对具体问题，需要大量资源。供应商之所以提供这种选择，是因为对于如何自动管理HBM以保证良好的性能，或者这是否可能还没有达成共识。本文通过开发简单的算法来自动控制HBM并在多核系统上提供良好的性能，为自动HBM管理提供理论支持。HBM管理在优化目标和算法开发方面都与传统缓存截然不同。由于DRAM和HBM具有相似的延迟，最小化HBM未命中（可证明）并不是正确的内存管理目标。相反，我们直接关注最小化makespan。此外，缓存管理算法必须关注哪些页面要保存在缓存中; HBM管理需要回答两个问题：（1）哪些页面要保存在HBM中;（2）如何使用从HBM到DRAM的有限带宽。事实证明，对第一个问题使用LRU，对第二个问题使用FCFS（先来先服务）的自然方法是可以证明是不好的。相反，我们提供了一个基于优先级的方法，是简单的，有效地实现和竞争的最大完工时间时，所有的多核线程是独立的。
This paper develops an algorithmic foundation for automated management of the multilevel-memory systems common to new supercomputers. In particular, the High-Bandwidth Memory (HBM) of these systems has a similar latency to that of DRAM and a smaller capacity, but it has much larger bandwidth. Systems equipped with HBM do not fit in classic memory-hierarchy models due to HBM's atypical characteristics.Unlike caches, which are generally managed automatically by the hardware, programmers of some current HBM-equipped supercomputers can choose to explicitly manage HBM themselves. This process is problem specific and resource intensive. Vendors offer this option because there is no consensus on how to automatically manage HBM to guarantee good performance, or whether this is even possible.In this paper, we give theoretical support for automatic HBM management by developing simple algorithms that can automatically control HBM and deliver good performance on multicore systems. HBM management is starkly different from traditional caching both in terms of optimization objectives and algorithm development. Since DRAM and HBM have similar latencies, minimizing HBM misses (provably) turns out not to be the right memory-management objective. Instead, we directly focus on minimizing makespan. In addition, while cache-management algorithms must focus on what pages to keep in cache; HBM management requires answering two questions: (1) which pages to keep in HBM and (2) how to use the limited bandwidth from HBM to DRAM. It turns out that the natural approach of using LRU for the first question and FCFS (First-Come-First-Serve) for the second question is provably bad. Instead, we provide a priority based approach that is simple, efficiently implementable and-competitive for makespan when all multicore threads are independent.
登录
查看更多内容
百万兆级计算趋势：适应
DOI：
--
发表时间：
2013
期刊：
Computing in science & engineering (Print)
影响因子：
--
作者：
P. Kogge;J. Shalf
通讯作者：
J. Shalf
数据争用和路径上资源重用的离散资源时间权衡问题
DOI：
10.1145/3323165.3323209
发表时间：
2019
期刊：
31st ACM Symposium on Parallelism in Algorithms and Architectures
影响因子：
--
作者：
Das, Rathish;Tsai, Shih-Yu;Duppala, Sharmila;Lynch, Jayson;Arkin, Esther M.;Chowdhury, Rezaul;Mitchell, Joseph S.;Skiena, Steven
通讯作者：
Skiena, Steven
对 DAM 的小改进可能会对数据结构设计产生重大影响
DOI：
--
发表时间：
2019
期刊：
ACM Symposium on Parallelism in Algorithms and Architectures
影响因子：
--
作者：
M. A. Bender;Alex Conway;Martín Farach;William K. Jannen;Yizheng Jiao;Rob Johnson;Eric R. Knorr;Sara McAllister;Nirjhar Mukherjee;P. Pandey;Donald E. Porter;Jun Yuan;Yang Zhan
通讯作者：
Yang Zhan
缓存自适应算法
影响因子：
3.7
作者：
M. A. Bender;Roozbeh Ebrahimi;Jeremy T. Fineman;Golnaz Ghasemiesfeh;Rob Johnson;Samuel McCauley
通讯作者：
Samuel McCauley
简短公告：绿色分页和并行分页
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
Kunal Agrawal;William Kuszmaul;Michele Scquizzato
通讯作者：
Michele Scquizzato