Compression-Aware In-Memory Query Processing: Vision, System Design and Beyond
Compression-Aware In-Memory Query Processing: Vision, System Design and Beyond
复制标题
压缩感知内存中查询处理：视觉、系统设计及其他
DOI：
--
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
Wolfgang Lehner
中科院分区：
文献类型：
--
作者：
Juliana Hildebrandt;Dirk Habich;Patrick Damme;Wolfgang Lehner
内存数据库系统必须将基本数据以及查询处理过程中产生的中间结果保存在主内存中。此外，访问中间结果的工作等同于访问基本数据的工作。因此，中间结果的优化很有趣，对查询执行的性能有很大的影响。对于这个领域，我们建议对中间结果持续使用轻量级压缩方法，并以开发基于压缩中间结果的平衡查询处理方法为目标。为了最小化总体查询执行时间，在减少的传输时间和增加的计算工作量之间找到平衡是很重要的。本文提供了一个概述，并提出了我们的愿景的系统设计。我们的系统设计解决了在内存列存储中集成大量不断发展的轻量级数据压缩算法的挑战。详细介绍了我们的模型驱动方法，并描述了正在进行的研究课题，以实现我们的压缩感知查询处理愿景。
In-memory database systems have to keep base data as well as intermediate results generated during query processing in main memory. In addition, the effort to access intermediate results is equivalent to the effort to access the base data. Therefore, the optimization of intermediate results is interesting and has a high impact on the performance of the query execution. For this domain, we propose the continuous use of lightweight compression methods for intermediate results and have the aim of developing a balanced query processing approach based on compressed intermediate results. To minimize the overall query execution time, it is important to find a balance between the reduced transfer times and the increased computational effort. This paper provides an overview and presents a system design for our vision. Our system design addresses the challenge of integrating a large and evolving corpus of lightweight data compression algorithms in an in-memory column store. In detail, we present our model-driven approach and describe ongoing research topics to realize our compression-aware query processing vision.
DOI：
10.1007/978-3-319-31409-9_6
发表时间：
2015
期刊：
影响因子：
--
作者：
Patrick Damme;Dirk Habich;Wolfgang Lehner
通讯作者：
Wolfgang Lehner
压缩数据的直接转换技术：通用方法和应用场景
DOI：
10.1007/978-3-319-23135-8_11
发表时间：
2015
期刊：
影响因子：
--
作者：
Patrick Damme;Dirk Habich;Wolfgang Lehner
通讯作者：
Wolfgang Lehner
为现代硬件高效编译高效的查询计划
DOI：
10.14778/2002938.2002940
发表时间：
2011
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
T. Neumann
通讯作者：
T. Neumann