Jumpgate: automating integration of network connected accelerators
Jumpgate: automating integration of network connected accelerators
复制标题
Jumpgate：网络连接加速器的自动化集成
DOI：
--
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Alexandra Fedorova
中科院分区：
文献类型：
--
作者：
Craig Mustard;Swati Goswami;Niloofar Gharavi;J. Nider;Ivan Beschastnikh;Alexandra Fedorova
可编程交换机、ASIC和FPGA等网络连接加速器（NCA）可以加快数据分析的操作速度。但到目前为止，将NCA集成到数据分析系统需要手动操作。我们介绍了一个系统，它简化了现有NCA代码到数据分析系统（如Apache Spark或Presto）的集成。Jumpgate将大部分集成代码放置在分析系统中，这些代码只需要编写一次，NCA程序员只需编写几百行代码即可集成新的NCA。Jumpgate依赖于大多数分析系统在内部使用的网络流图，并负责NCA的调用、必要的格式转换以及通过新颖的分级网络管道对其执行的编排。我们在Apache Spark中实现了Jumpgate，这使得我们第一次能够研究在TPC-DS基准测试的整个查询范围内使用NCA的优点和缺点。由于我们缺乏可以加速所有分析操作的硬件，我们在软件中实施了NCA。我们报告了分析工作负载将如何以及何时从NCA中受益，以激励未来的设计。
Network-connected accelerators (NCA), such as programmable switches, ASICs, and FPGAs can speed up operations in data analytics. But so far, integration of NCAs into data analytics systems required manual effort. We present Jumpgate, a system that simplifies integration of existing NCA code into data analytics systems, such as Apache Spark or Presto. Jumpgate places most of the integration code into the analytics system, which needs to be written once, leaving NCA programmers to write only a couple hundred lines of code to integrate new NCAs. Jumpgate relies on dataflow graphs that most analytics systems use internally, and takes care of the invocation of NCAs, the necessary format conversion, and orchestration of their execution via novel staged network pipelines. Our implementation of Jumpgate in Apache Spark made it possible, for the first time, to study the benefits and drawbacks of using NCAs across the entire range of queries in the TPC-DS benchmark. Since we lack hardware that can accelerate all analytics operations, we implemented NCAs in software. We report on how and when analytics workloads will benefit from NCAs to motivate future designs.
DOI：
--
发表时间：
2019
期刊：
--
影响因子：
--
作者：
Ming Liu;Simon Peter;A. Krishnamurthy;P. Phothilimthana
通讯作者：
Ming Liu;Simon Peter;A. Krishnamurthy;P. Phothilimthana
DOI：
10.14778/3368289.3368301
发表时间：
2019-04
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
Hang Zhu;Zhihao Bai;Jialin Li;Ellis Michael;Dan R. K. Ports;I. Stoica;Xin Jin
通讯作者：
Hang Zhu;Zhihao Bai;Jialin Li;Ellis Michael;Dan R. K. Ports;I. Stoica;Xin Jin
DOI：
--
发表时间：
2018-10
期刊：
--
影响因子：
--
作者：
P. Phothilimthana;Ming Liu;Antoine Kaufmann;Simon Peter;Rastislav Bodík;T. Anderson
通讯作者：
P. Phothilimthana;Ming Liu;Antoine Kaufmann;Simon Peter;Rastislav Bodík;T. Anderson