Vortex: Extreme-Performance Memory Abstractions for Data-Intensive Streaming Applications
Vortex: Extreme-Performance Memory Abstractions for Data-Intensive Streaming Applications
复制标题
Vortex：数据密集型流应用程序的极致性能内存抽象
DOI：
10.1145/3373376.3378527
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Loguinov, Dmitri
中科院分区：
文献类型：
--
作者：
Hanel, Carson;Arman, Arif;Xiao, Di;Keech, John;Loguinov, Dmitri
数据分析、信息检索和集群计算中的许多应用都要处理海量信息。复杂的算法和海量的数据需要一种编程模型，该模型不仅可以为大于RAM的输入提供简单的抽象，而且还可以从可用的硬件中挤出最大的性能。虽然这些通常是相互冲突的目标，但我们表明，对于顺序处理的数据，即在流媒体应用中，这并不是必须的情况。我们开发了一组称为Vortex的算法，这些算法强制应用程序在流处理期间生成访问冲突(即页面错误)，这些冲突以一种透明的方式进行处理，从而创建了一种适合常规C/C++指针的无限缓冲区的错觉。这种设计使Vortex成为迄今为止用于各种类型的流I/O、线程间数据传输和键洗牌的最简单、最快的平台。我们介绍了几个这样的应用--文件I/O包装器、有界生产者-消费者流水线、消失数组、键分区引擎，以及比以前最好的方法快3-4倍的新型就地基数排序。
Many applications in data analytics, information retrieval, and cluster computing process huge amounts of information. The complexity of involved algorithms and massive scale of data require a programming model that can not only offer a simple abstraction for inputs larger than RAM, but also squeeze maximum performance out of the available hardware. While these are usually conflicting goals, we show that this does not have to be the case for sequentially-processed data, i.e., in streaming applications. We develop a set of algorithms called Vortex that force the application to generate access violations (i.e., page faults) during processing of the stream, which are transparently handled in such a way that creates an illusion of an infinite buffer that fits into a regular C/C++ pointer. This design makes Vortex by far the simplest-to-use and fastest platform for various types of streaming I/O, inter-thread data transfer, and key shuffling. We introduce several such applications -- file I/O wrapper, bounded producer-consumer pipeline, vanishing array, key-partitioning engine, and novel in-place radix sort that is 3-4 times faster than the best prior approaches.
登录
查看更多内容
影响因子：
4.2
作者：
Alexandrov, Alexander;Bergmann, Rico;Warneke, Daniel
通讯作者：
Warneke, Daniel
缓存高效聚合：散列即排序
DOI：
10.1145/2723372.2747644
发表时间：
2015
期刊：
Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data
影响因子：
--
作者：
Ingo Müller;P. Sanders;Arnaud Lacurie;Wolfgang Lehner;Franz Färber
通讯作者：
Franz Färber
基数排序
DOI：
10.1007/978-0-387-09766-4_2042
发表时间：
2011
期刊：
Encyclopedia of Big Data Technologies
影响因子：
--
作者：
Parosh Aziz Abdulla
通讯作者：
Parosh Aziz Abdulla
PARADIS：一种高效的就地基数排序并行算法
影响因子：
2.5
作者：
Minsik Cho;D. Brand;R. Bordawekar;Ulrich Finkler;Vincent KulandaiSamy;R. Puri
通讯作者：
R. Puri
适用于内存文件系统的高效内存映射文件 I/O
DOI：
--
发表时间：
2017
期刊：
USENIX Workshop on Hot Topics in Storage and File Systems
影响因子：
--
作者：
Jungsik Choi;Jiwon Kim;Hwansoo Han
通讯作者：
Hwansoo Han