A Learned Query Optimizer for Spatial Join
A Learned Query Optimizer for Spatial Join
复制标题
用于空间连接的学习查询优化器
DOI：
10.1145/3474717.3484217
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Eldawy, Ahmed
中科院分区：
文献类型：
--
作者：
Vu, Tin;Belussi, Alberto;Migliorini, Sara;Eldawy, Ahmed
空间连接的重要性和复杂性导致了许多连接算法，其中一些算法运行在Hadoop和Spark等大数据平台上。本文提出了第一个基于机器学习的空间连接查询优化器，该优化器可以适应空间数据集的偏性和不同算法的复杂性。主要的挑战是如何开发可移植的成本模型，考虑到重要的输入特征，如数据分布、空间分区、空间连接算法的逻辑以及两个数据集之间的关系。提出的系统定义了一组特征，这些特征可以有效地计算数据，以捕获空间连接的复杂方面。然后，它使用这些特征来训练三个机器学习模型，这些模型捕获几个指标，根据用户需求估计四种空间连接算法的成本。第一个模型可以估计空间连接算法的基数。第二个模型可以预测特定连接算法的粗略比较次数。最后，第三个模型是一个分类模型，它可以选择最好的连接算法来运行。在大规模合成数据和实际数据上的实验表明，该模型比基线方法更有效。
The importance and complexity of spatial join resulted in many join algorithms, some of which run on big-data platforms such as Hadoop and Spark. This paper proposes the first machine-learning-based query optimizer for spatial join operation which can accommodate the skewness of the spatial datasets and the complexity of the different algorithms. The main challenge is how to develop portable cost models that take into account the important input characteristics such as data distribution, spatial partitioning, logic of spatial join algorithms, and the relationship between the two datasets. The proposed system defines a set of features that can all be computed efficiently for the data to catch the intricate aspects of spatial join. Then, it uses these features to train three machine learning models that capture several metrics to estimate the cost of four spatial join algorithms according to user requirements. The first model can estimate the cardinality of spatial join algorithm. The second model can predict the number of rough comparisons for a specific join algorithm. Finally, the third model is a classification model that can choose the best join algorithm to run. Experiments on large scale synthetic and real data show the efficiency of the proposed models over baseline methods.
登录
查看更多内容
面向分布式空间连接的学习成本模型：数据、代码
DOI：
10.1145/3511808.3557712
发表时间：
2022
期刊：
ACM
影响因子：
--
作者：
Vu, Tin;Belussi, Alberto;Migliorini, Sara;Eldawy, Ahmed
通讯作者：
Eldawy, Ahmed
UCR-STAR：UCR 时空活动存储库
DOI：
10.1145/3377000.3377005
发表时间：
2019
期刊：
SIGSPATIAL Special
影响因子：
--
作者：
Ghosh, Saheli;Vu, Tin;Eskandari, Mehrad Amin;Eldawy, Ahmed
通讯作者：
Eldawy, Ahmed
MapReduce 中的空间连接
DOI：
--
发表时间：
2017
期刊：
SIGSPATIAL/GIS
影响因子：
--
作者：
Ibrahim Sabek;M. Mokbel
通讯作者：
M. Mokbel
使用 Hadoop 进行空间连接
DOI：
--
发表时间：
2017
期刊：
ACM SIGSPATIAL International Workshop on Advances in Geographic Information Systems
影响因子：
--
作者：
Ahmed Eldawy;M. Mokbel
通讯作者：
M. Mokbel
DOI：
10.1145/3459637.3481897
发表时间：
2021-10
期刊：
Proceedings of the 30th ACM International Conference on Information & Knowledge Management
影响因子：
--
作者：
Ahmed Eldawy;Vagelis Hristidis;Saheli Ghosh;Majid Saeedan;Akil Sevim;A.B. Siddique;Samriddhi Singla;Ganeshram Sivaram;Tin Vu;Yaming Zhang
通讯作者：
Ahmed Eldawy;Vagelis Hristidis;Saheli Ghosh;Majid Saeedan;Akil Sevim;A.B. Siddique;Samriddhi Singla;Ganeshram Sivaram;Tin Vu;Yaming Zhang