Revisiting Runtime Dynamic Optimization for Join Queries in Big Data Management Systems
Revisiting Runtime Dynamic Optimization for Join Queries in Big Data Management Systems
复制标题
重新审视大数据管理系统中连接查询的运行时动态优化
DOI：
10.1145/3604437.3604460
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Tsotras, Vassilis J.
中科院分区：
文献类型：
--
作者：
Pavlopoulou, Christina;Carey, Michael J.;Tsotras, Vassilis J.
有效的查询优化仍然是大数据管理系统的一个悬而未决的问题。在这项工作中，我们重新审视了一个旧的想法，运行时动态优化，并将其应用于大数据管理系统AsterixDB。该方法分阶段运行（重新优化点），首先执行单个数据集本地的所有谓词。然后使用阶段创建的中间结果重新优化剩余的查询。这种重新优化方法避免了不准确的中间结果基数估计，从而导致更好的执行计划。虽然它引入了用于实现中间结果的开销，但实验表明，该开销相对较小，并且在给定优化益处的情况下是可接受的代价。
Effective query optimization remains an open problem for Big Data Management Systems. In this work, we revisit an old idea, runtime dynamic optimization, and adapt it to a big data management system, AsterixDB. The approach runs in stages (re-optimization points), starting by first executing all predicates local to a single dataset. The intermediate result created by a stage is then used to re-optimize the remaining query. This re-optimization approach avoids inaccurate intermediate result cardinality estimates, thus leading to much better execution plans. While it introduces overhead for materializing intermediate results, experiments show that this overhead is relatively small and is an acceptable price to pay given the optimization benefits.
登录
查看更多内容
MONSOON：使用部分模糊谓词的查询的多步优化和执行
DOI：
10.1145/3318464.3389728
发表时间：
2020
期刊：
SIGMOD Conference 2020
影响因子：
--
作者：
Sourav Sikdar, Chris Jermaine
通讯作者：
Sourav Sikdar, Chris Jermaine
动态优化大规模数据平台上的查询
DOI：
10.1145/2588555.2610531
发表时间：
2014
期刊：
Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data
影响因子：
--
作者：
Konstantinos Karanasos;Andrey Balmin;M. Kutsch;Fatma Özcan;V. Ercegovac;Chunyang Xia;Jesse Jackson
通讯作者：
Jesse Jackson
ROX：XQuery 的运行时优化
DOI：
--
发表时间：
2009
期刊：
SIGMOD Conference
影响因子：
--
作者：
R. A. Kader
通讯作者：
R. A. Kader
现代数据库系统中的查询处理和基数估计
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
Ildar Absalyamov
通讯作者：
Ildar Absalyamov
主动重新优化
DOI：
10.1145/1066157.1066171
发表时间：
2005
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
S. Babu;P. Bizarro;D. DeWitt
通讯作者：
D. DeWitt