MONSOON: Multi-Step Optimization and Execution of Queries with Partially Obscured Predicates
MONSOON: Multi-Step Optimization and Execution of Queries with Partially Obscured Predicates
复制标题
MONSOON：使用部分模糊谓词的查询的多步优化和执行
DOI：
10.1145/3318464.3389728
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Sourav Sikdar, Chris Jermaine
中科院分区：
文献类型：
--
作者：
Sourav Sikdar, Chris Jermaine
现代SQL数据库系统和Spark等大数据处理系统中的用户定义函数（UDF）--提供Python或Scala等高级语言的API绑定--使自动优化具有挑战性。现代数据库查询优化的基础是收集描述要处理的数据的统计信息，但是当数据库或大数据计算被UDF部分掩盖时，通常无法获得良好的统计信息。在本文中，我们描述了一个查询优化器称为季风优化器。在存在UDF的情况下，Monsoon优化器可以选择收集UDF上的统计信息，然后运行计算。或者，它可以优化和执行计划的一部分，收集关于部分计划的结果的统计数据，然后是重新优化步骤，根据需要重复该过程。Monsoon通过将问题形式化为马尔可夫决策过程，决定如何以原则性的方式交错执行和统计信息收集。
User-defined functions (UDFs) in modern SQL database systems and Big Data processing systems such as Spark---that offer API bindings in high-level languages such as Python or Scala---make automatic optimization challenging. The foundation of modern database query optimization is the collection of statistics describing the data to be processed, but when a database or Big Data computation is partially obscured by UDFs, good statistics are often unavailable. In this paper, we describe a query optimizer called the Monsoon optimizer. In the presence of UDFs, the Monsoon optimizer may choose to collect statistics on the UDFs, and then run the computation. Or, it may optimize and execute part of the plan, collecting statistics on the result of the partial plan, followed by a re optimization step, with the process repeated as needed. Monsoon decides how to interleave execution and statistics collection in a principled fashion by formalizing the problem as a Markov decision process.
登录
查看更多内容
最低预期成本查询优化：我们可以期待什么？
DOI：
10.1145/543613.543651
发表时间：
2002
期刊：
Proceedings of the twenty-first ACM SIGMOD-SIGACT-SIGART symposium on Principles of database systems
影响因子：
--
作者：
Francis C. Chu;Joseph Y. Halpern;J. Gehrke
通讯作者：
J. Gehrke
DOI：
10.1145/3078752
发表时间：
2017-05
期刊：
ACM Computing Surveys (CSUR)
影响因子：
--
作者：
Astrid Rheinländer;U. Leser;G. Graefe
通讯作者：
Astrid Rheinländer;U. Leser;G. Graefe
动态优化大规模数据平台上的查询
DOI：
10.1145/2588555.2610531
发表时间：
2014
期刊：
Proceedings of the 2014 ACM SIGMOD International Conference on Management of Data
影响因子：
--
作者：
Konstantinos Karanasos;Andrey Balmin;M. Kutsch;Fatma Özcan;V. Ercegovac;Chunyang Xia;Jesse Jackson
通讯作者：
Jesse Jackson
通过渐进式优化实现稳健的查询处理
DOI：
--
发表时间：
2004
期刊：
ACM SIGMOD Conference
影响因子：
--
作者：
V. Markl;Vijayshankar Raman;David E. Simmen;G. Lohman;H. Pirahesh
通讯作者：
H. Pirahesh
BlackMagic：使用 Froid 将标量 UDF 自动内联到 SQL 查询中
DOI：
10.14778/3352063.3352072
发表时间：
2019
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
Karthik Ramachandra;Kwanghyun Park
通讯作者：
Kwanghyun Park