Towards Accelerating Data Intensive Application's Shuffle Process Using SmartNICs
Towards Accelerating Data Intensive Application's Shuffle Process Using SmartNICs
复制标题
使用 SmartNIC 加速数据密集型应用程序的洗牌过程
DOI：
10.1145/3589980
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Akella, Aditya
中科院分区：
文献类型：
--
作者：
Lin, Jiaxin;Ji, Tao;Hao, Xiangpeng;Cha, Hokeun;Le, Yanfang;Yu, Xiangyao;Akella, Aditya
新兴 SmartNIC 技术的广泛采用创造了将应用程序级计算卸载到网络层的新机会，从而减轻了主机 CPU 的负担，从而提高了性能。 Shuffle 是一种全方位的数据交换过程，是分布式数据密集型应用中网络通信的关键构建块，并且可以从 SmartNIC 中受益。在本文中，我们开发了 SmartShuffle，它通过将各种计算任务卸载到 SmartNIC 设备中来加速数据密集型应用程序的 shuffle 过程。 SmartShuffle 支持卸载低级网络功能（包括数据分区和网络传输）以及高级计算任务（包括过滤、聚合和排序）。 SmartShuffle 采用协调卸载架构，使发送方和接收方 SmartNIC 共同发挥 shuffle 计算卸载的优势。 SmartShuffle 仔细管理设备上严格且随时间变化的计算和内存限制。我们提出了一种液体卸载方法，该方法可以在运行时在主机 CPU 和 SmartNIC 之间动态迁移算子，以便充分利用两个设备中的资源。我们在 Stingray SoC SmartNIC 上对 SmartShuffle 进行原型设计，并将其插入 Spark。我们的评估表明，SmartShuffle 提高了主机 CPU 效率和 I/O 效率，同时缩短了作业完成时间。 SmartShuffle 在 TPC-H 上的性能优于 Spark 和 Spark RDMA 高达 40%。
The wide adoption of the emerging SmartNIC technology creates new opportunities to offload application-level computation into the networking layer, which frees the burden of host CPUs, leading to performance improvement. Shuffle, the all-to-all data exchange process, is a critical building block for network communication in distributed data-intensive applications and can potentially benefit from SmartNICs.In this paper, we develop SmartShuffle, which accelerates the data-intensive application's shuffle process by offloading various computation tasks into the SmartNIC devices. SmartShuffle supports offloading both low-level network functions, including data partitioning and network transport, and high-level computation tasks, including filtering, aggregation, and sorting. SmartShuffle adopts a coordinated offload architecture to make sender-side and receiver-side SmartNICs jointly contribute to the benefits of shuffle computation offload. SmartShuffle carefully manages the tight and time-varying computation and memory constraints on the device. We propose a liquid offloading approach, which dynamically migrates operators between the host CPU and the SmartNIC at runtime such that resources in both devices are fully utilized.We prototype SmartShuffle on the Stingray SoC SmartNICs and plug it into Spark. Our evaluation shows that SmartShuffle improves host CPU efficiency and I/O efficiency with lower job completion time. SmartShuffle outperforms Spark, and Spark RDMA by up to 40% on TPC-H.
登录
查看更多内容
DOI：
--
发表时间：
2019
期刊：
--
影响因子：
--
作者：
Ming Liu;Simon Peter;A. Krishnamurthy;P. Phothilimthana
通讯作者：
Ming Liu;Simon Peter;A. Krishnamurthy;P. Phothilimthana
sRDMA - 用于远程直接内存访问的基于 NIC 的高效身份验证和加密
DOI：
--
发表时间：
2020
期刊：
USENIX Annual Technical Conference
影响因子：
--
作者：
Konstantin Taranov;Benjamin Rothenberger;A. Perrig;T. Hoefler
通讯作者：
T. Hoefler
Jumpgate：网络连接加速器的自动化集成
DOI：
--
发表时间：
2021
期刊：
Annual Haifa Experimental Systems Conference
影响因子：
--
作者：
Craig Mustard;Swati Goswami;Niloofar Gharavi;J. Nider;Ivan Beschastnikh;Alexandra Fedorova
通讯作者：
Alexandra Fedorova
Jumpgate：网络内处理即数据分析服务
DOI：
--
发表时间：
2019
期刊：
USENIX Workshop on Hot Topics in Cloud Computing
影响因子：
--
作者：
Craig Mustard;Fabian Ruffy;Anny Gakhokidze;Ivan Beschastnikh;Alexandra Fedorova
通讯作者：
Alexandra Fedorova
DOI：
--
发表时间：
2018-10
期刊：
--
影响因子：
--
作者：
P. Phothilimthana;Ming Liu;Antoine Kaufmann;Simon Peter;Rastislav Bodík;T. Anderson
通讯作者：
P. Phothilimthana;Ming Liu;Antoine Kaufmann;Simon Peter;Rastislav Bodík;T. Anderson