Memory access scheduling to reduce thread migrations
Memory access scheduling to reduce thread migrations
复制标题
内存访问调度减少线程迁移
DOI：
10.1145/3497776.3517768
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Sarkar, Vivek
中科院分区：
文献类型：
--
作者：
Damani, Sana;Barua, Prithayan;Sarkar, Vivek
人们广泛观察到，数据移动正在成为未来硬件可扩展性和能效的主要瓶颈，特别是对于缓存不友好且在当今系统上实现峰值性能低于 1% 的应用程序和算法。 “将计算转移到数据”的想法被认为是应对这一挑战的一种方法。虽然有一些方法可以在软件中实现这种迁移，但从降低开销和程序员生产力的角度来看，硬件支持是一个有前途的方向。迁移线程架构将轻量级硬件线程上下文迁移到数据的位置，而不是将数据传输到请求的处理器。然而，虽然传输线程上下文比移动数据更便宜，但线程迁移仍然会产生能量和带宽开销，并且如果线程由于访问局部性较差而频繁地在处理器之间以乒乓方式迁移，则可能会特别昂贵。在本文中，我们提出了内存访问调度，这是一种新的编译器优化，旨在减少在迁移线程架构上执行程序时的总体线程迁移数量。我们的实验表明，一组 7 个显式并行化内核的几何平均加速比为 1.23 倍，一组 15 个自动并行化内核的几何平均加速比为 1.10 倍。我们相信，内存访问调度也将成为其他受益于软件线程迁移的以局部为中心的架构（例如多线程 NUMA 架构）的重要优化。
It has been widely observed that data movement is emerging as the primary bottleneck to scalability and energy efficiency in future hardware, especially for applications and algorithms that are not cache-friendly and achieve below 1% of peak performance on today’s systems. The idea of “moving compute to data” has been suggested as one approach to address this challenge. While there are approaches that can achieve this migration in software, hardware support is a promising direction from the perspectives of lower overheads and programmer productivity.Migratory thread architecturesmigrate lightweight hardware thread contexts to the location of the data instead of transferring data to the requesting processor. However, while transporting thread contexts is cheaper than moving data, thread migrations still incur energy and bandwidth overheads and can be particularly expensive if threads frequently migrate in a ping-pong manner between processors due to poor locality of access. In this paper, we propose Memory Access Scheduling, a new compiler optimization that aims to reduce the number of overall thread migrations when executing a program on migratory thread architectures. Our experiments show performance improvements with a geometric mean speedup of 1.23× for a set of 7 explicitly-parallelized kernels, and of 1.10× for a set of 15 automatically-parallelized kernels. We believe that memory access scheduling will also be an important optimization for other locality-centric architectures that benefit from software thread migrations, such as multi-threaded NUMA architectures.
登录
查看更多内容
DOI：
10.1145/201059.201065
发表时间：
1995-03
期刊：
ACM Trans. Program. Lang. Syst.
影响因子：
--
作者：
Anne Rogers;M. Carlisle;John H. Reppy;L. Hendren
通讯作者：
Anne Rogers;M. Carlisle;John H. Reppy;L. Hendren
不规则问题的可扩展性
DOI：
--
发表时间：
2020
期刊：
影响因子：
--
作者：
Brian A. Page
通讯作者：
Brian A. Page
Lucata 计算机上的机器学习算法性能
DOI：
--
发表时间：
2020
期刊：
IEEE Conference on High Performance Extreme Computing
影响因子：
--
作者：
P. Springer;Thomas Schibler;G. Krawezik;J. Lightholder;P. Kogge
通讯作者：
P. Kogge
Emu系统上图应用编译器转换的初步研究
DOI：
--
发表时间：
2018
期刊：
MCHPC'18: Proceedings of the Workshop on Memory Centric High Performance Computing
影响因子：
--
作者：
Chatarasi, Prasanth;Sarkar, Vivek
通讯作者：
Sarkar, Vivek
迁移线程架构上稀疏矩阵密集向量乘法 (SpMV) 的可扩展性
DOI：
10.1109/ipdpsw50202.2020.00088
发表时间：
2020
期刊：
2020 IEEE International Parallel and Distributed Processing Symposium Workshops (IPDPSW
影响因子：
--
作者：
Page, Brian A.;Kogge, Peter M.
通讯作者：
Kogge, Peter M.