Towards a Benchmark for Interactive Data Exploration
Towards a Benchmark for Interactive Data Exploration
复制标题
迈向交互式数据探索的基准
DOI：
--
复制
发表时间：
2016
期刊：
影响因子：
--
通讯作者：
Tim Kraska
中科院分区：
文献类型：
--
作者：
P. Eichmann;Emanuel Zgraggen;Zheguang Zhao;Carsten Binnig;Tim Kraska
分析数据库系统的现有基准，如TPC-DS和TPC-H，是为静态报告场景设计的。这些基准测试的主要指标是在预定义数据库上运行不同SQL查询的性能。在本文中，我们认为这样的基准不适合评估现代交互式数据探索（IDE）系统，这些系统允许不同技能水平的数据科学家操纵，分析和探索大型数据集，以及以交互式速度构建模型和应用机器学习。虽然查询性能对于数据探索仍然很重要，但我们相信，一个更好的指标将反映用户在给定时间内获得的洞察的数量和复杂性。本文讨论了创建这样一个指标的挑战，并提出了一个新的基准，模拟典型的用户行为，并允许IDE系统进行比较，在一个可重现的方式的想法。
Existing benchmarks for analytical database systems such as TPC-DS and TPC-H are designed for static reporting scenarios. The main metric of these benchmarks is the performance of running different SQL queries over a predefined database. In this paper, we argue that such benchmarks are not suitable for evaluating modern interactive data exploration (IDE) systems, which allow data scientists of varying skill levels to manipulate, analyze, and explore large data sets, as well as to build models and apply machine learning at interactive speeds. While query performance is still important for data exploration, we believe that a much better metric would reflect the number and complexity of insights users gain in a given amount of time. This paper discusses challenges of creating such a metric and presents ideas towards a new benchmark that simulates typical user behavior and allows IDE systems to be compared in a reproducible way.
HyPer：混合 OLTP
DOI：
10.1109/icde.2011.5767867
发表时间：
2011
期刊：
2011 IEEE 27th International Conference on Data Engineering
影响因子：
--
作者：
A. Kemper;T. Neumann
通讯作者：
T. Neumann