Optimizing CPU Performance for Recommendation Systems At-Scale
Optimizing CPU Performance for Recommendation Systems At-Scale
复制标题
大规模优化推荐系统的 CPU 性能
DOI：
10.1145/3579371.3589112
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Kandemir, Mahmut Taylan
中科院分区：
文献类型：
--
作者：
Jain, Rishabh;Cheng, Scott;Kalagi, Vishwas;Sanghavi, Vrushabh;Kaul, Samvit;Arunachalam, Meena;Maeng, Kiwan;Jog, Adwait;Sivasubramaniam, Anand;Kandemir, Mahmut Taylan
深度学习推荐模型 (DLRM) 在个性化推荐系统中非常流行，并且是数据中心人工智能周期的主要贡献者。由于 DLRM 的高计算和内存带宽需求，特别是 DLRM 推理中的嵌入阶段，CPU 和 GPU 都用于托管此类工作负载。这主要是因为计算嵌入阶段存在大量不规则内存访问，导致 CPU 管道出现严重停顿。随着新的推荐模型的模型和参数大小不断增加，嵌入阶段的计算优势也随之增加，从而使 CPU 的推理适用性受到质疑。在本文中，我们首先量化了不规则访问的原因及其对缓存的影响，并观察到片外内存访问是造成高延迟的主要因素。因此，我们利用两种众所周知的技术：(1) 软件预取，隐藏需求负载所造成的内存访问延迟；(2) 重叠计算和内存访问，通过超线程减少 CPU 停顿，从而最大限度地缩短总体执行时间。我们使用最新的推荐模型和最近发布的生产跟踪来评估我们在单核和 24 核配置上的工作。我们的集成技术将推理速度提高了 1.59 倍，平均提高了 1.4 倍。
Deep Learning Recommendation Models (DLRMs) are very popular in personalized recommendation systems and are a major contributor to the data-center AI cycles. Due to the high computational and memory bandwidth needs of DLRMs, specifically the embedding stage in DLRM inferences, both CPUs and GPUs are used for hosting such workloads. This is primarily because of the heavy irregular memory accesses in the embedding stage of computation that leads to significant stalls in the CPU pipeline. As the model and parameter sizes keep increasing with newer recommendation models, the computational dominance of the embedding stage also grows, thereby, bringing into question the suitability of CPUs for inference. In this paper, we first quantify the cause of irregular accesses and their impact on caches and observe that off-chip memory access is the main contributor to high latency. Therefore, we exploit two well-known techniques: (1) Software prefetching, to hide the memory access latency suffered by the demand loads and (2) Overlapping computation and memory accesses, to reduce CPU stalls via hyperthreading to minimize the overall execution time. We evaluate our work on a single-core and 24-core configuration with the latest recommendation models and recently released production traces. Our integrated techniques speed up the inference by up to 1.59x, and on average by 1.4x.
登录
查看更多内容
高速缓存的综合跟踪驱动仿真
DOI：
--
发表时间：
2007
期刊：
--
影响因子：
--
作者：
Hassan, P
通讯作者：
Hassan, P
DOI：
10.1145/3542929.3563464
发表时间：
2022-11
期刊：
Proceedings of the 13th Symposium on Cloud Computing
影响因子：
--
作者：
Vivek M. Bhasi;Jashwant Raj Gunasekaran;Aakash Sharma;M. Kandemir;C. Das
通讯作者：
Vivek M. Bhasi;Jashwant Raj Gunasekaran;Aakash Sharma;M. Kandemir;C. Das
DOI：
10.48550/arxiv.2203.07424
发表时间：
2022-03
期刊：
2022 IEEE International Symposium on High-Performance Computer Architecture (HPCA)
影响因子：
--
作者：
Liu Ke;Udit Gupta;Mark Hempstead;Carole-Jean Wu;Hsien-Hsin S. Lee;Xuan Zhang
通讯作者：
Liu Ke;Udit Gupta;Mark Hempstead;Carole-Jean Wu;Hsien-Hsin S. Lee;Xuan Zhang
通过推荐模型的模型感知数据放置实现高效缓存利用
DOI：
--
发表时间：
2021
期刊：
International Symposium on Memory Systems
影响因子：
--
作者：
M. Ibrahim;Onur Kayiran;Shaizeen Aga
通讯作者：
Shaizeen Aga
矢量奔跑
DOI：
--
发表时间：
2021
期刊：
International Symposium on Computer Architecture
影响因子：
--
作者：
Ajeya Naithani;S. Ainsworth;Timothy M. Jones;L. Eeckhout
通讯作者：
L. Eeckhout