Spatial parquet: a column file format for geospatial data lakes
Spatial parquet: a column file format for geospatial data lakes
复制标题
Spatial parquet：地理空间数据湖的列文件格式
DOI：
10.1145/3557915.3561038
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Eldawy, Ahmed
中科院分区：
文献类型：
--
作者：
Saeedan, Majid;Eldawy, Ahmed
现代数据分析应用程序更喜欢使用列存储格式，因为它们通过编码和压缩提高了存储效率。 Parquet 是最流行的列数据存储文件格式，它提供了其中的一些开箱即用的优点。然而，Parquet 并不容易支持地理空间数据。本文介绍了 Spatial Parquet，这是一种有效支持地理空间数据的 Parquet 扩展。 Spatial Parquet 继承了 Parquet 对于非空间数据的所有优点，例如丰富的数据类型、压缩和列/行过滤。此外，它还添加了三个新功能来容纳地理空间数据。首先，它引入了一种地理空间数据类型，可以以与 Parquet 兼容的列格式对所有标准空间数据类型进行编码。其次，它添加了一种新的无损且高效的编码方法，称为 FP-delta，该方法经过定制，可以有效地存储以浮点格式存储的地理空间坐标。第三，它添加了轻量级空间索引，允许读者跳过文件的不相关部分以提高读取效率。对大规模真实数据的实验表明，即使不进行压缩，SpatialParquet 也可以将数据大小减少三倍。压缩可以进一步减小存储大小。此外，当应用轻量级索引时，Spatial Parquet 可以将读取时间减少两个数量级。这个初始原型可以开辟新的研究方向，以进一步改进列格式的地理空间数据存储。
Modern data analytics applications prefer to use column-storage formats due to their improved storage efficiency through encoding and compression. Parquet is the most popular file format for column data storage that provides several of these benefits out of the box. However, geospatial data is not readily supported by Parquet. This paper introduces Spatial Parquet, a Parquet extension that efficiently supports geospatial data. Spatial Parquet inherits all the advantages of Parquet for non-spatial data, such as rich data types, compression, and column/row filtering. Additionally, it adds three new features to accommodate geospatial data. First, it introduces a geospatial data type that can encode all standard spatial data types in a column format compatible with Parquet. Second, it adds a new lossless and efficient encoding method, termed FP-delta, that is customized to efficiently store geospatial coordinates stored in floating-point format. Third, it adds a light-weight spatial index that allows the reader to skip non-relevant parts of the file for increased read efficiency. Experiments on large-scale real data showed that SpatialParquet can reduce the data size by a factor of three, even without compression. Compression can further reduce the storage size. Additionally, Spatial Parquet can reduce the reading time by two orders of magnitude when the light-weight index is applied. This initial prototype can open new research directions to further improve geospatial data storage in column format.
登录
查看更多内容
UCR-STAR：UCR 时空活动存储库
DOI：
10.1145/3377000.3377005
发表时间：
2019
期刊：
SIGSPATIAL Special
影响因子：
--
作者：
Ghosh, Saheli;Vu, Tin;Eskandari, Mehrad Amin;Eldawy, Ahmed
通讯作者：
Eldawy, Ahmed
使用字符串字典编码的实用字符串字典压缩
DOI：
--
发表时间：
2017
期刊：
International Conference on Big Data Innovations and Applications
影响因子：
--
作者：
Shunsuke Kanda;K. Morita;M. Fuketa
通讯作者：
M. Fuketa
DOI：
10.1145/3459637.3481897
发表时间：
2021-10
期刊：
Proceedings of the 30th ACM International Conference on Information & Knowledge Management
影响因子：
--
作者：
Ahmed Eldawy;Vagelis Hristidis;Saheli Ghosh;Majid Saeedan;Akil Sevim;A.B. Siddique;Samriddhi Singla;Ganeshram Sivaram;Tin Vu;Yaming Zhang
通讯作者：
Ahmed Eldawy;Vagelis Hristidis;Saheli Ghosh;Majid Saeedan;Akil Sevim;A.B. Siddique;Samriddhi Singla;Ganeshram Sivaram;Tin Vu;Yaming Zhang
DOI：
10.1145/3397536.3426358
发表时间：
2020-11
期刊：
Proceedings of the 28th International Conference on Advances in Geographic Information Systems
影响因子：
--
作者：
Abdullah Al-Mamun;Hao Wu;W. Aref
通讯作者：
Abdullah Al-Mamun;Hao Wu;W. Aref
SPDP：一种自动合成的浮点数据无损压缩算法
DOI：
10.1109/dcc.2018.00042
发表时间：
2018
期刊：
2018 Data Compression Conference
影响因子：
--
作者：
S. Claggett;S. Azimi;Martin Burtscher
通讯作者：
Martin Burtscher