SDTA: An Algebra for Statistical Data Transformation
SDTA: An Algebra for Statistical Data Transformation
复制标题
SDTA：统计数据转换的代数
DOI：
10.1145/3468791.3468811
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Alter, George
中科院分区：
文献类型：
--
作者：
Song, Jie;Jagadish, H. V.;Alter, George
统计数据操纵是许多数据科学分析管道的重要组成部分，特别是作为数据摄取的一部分。这项任务通常是通过用SPSS、Stata、SAS、R、Python(Pandas)等语言编写转换脚本来完成的。这些工具支持的完全不同的数据模型、语言表示和转换操作使得最终用户很难理解和记录所执行的转换，开发人员也很难移植跨语言的转换代码。它由一个名为结构化数据转换数据模型(SDTDM)的数据模型组成，其灵感来自于多个统计转换框架的数据模型；一个代数，结构数据转换代数(SDTA)，它不仅能够转换SDTDM内的数据，而且能够在多个结构级别上转换元数据；以及一个等效的描述性对应对象，称为结构化数据转换语言(SDTL)，它最近被DDI联盟采用，该联盟维护元数据的国际标准，作为其产品套件的一部分。通过对社会经济数据的真实统计转换的实验表明，SDTL可以成功地表示从库中获得的4185个命令中的86.1%和91.6%，以及在SPSS中的9087个命令中的成功表示，并举例说明SDTA/SDTL如何帮助记录统计数据转换，这是数据集元数据中经常被忽略的一个重要方面。我们提出了一个名为C2Metadata的系统，它自动捕获SDTL中的转换和起源信息，作为元数据的一部分。此外，给出了从源统计语言到SDTA/SDTL的转换机制，我们展示了如何将功能等价的转换程序转换为相同或不同语言中的其他功能等价程序，从而允许代码重用和结果的重现性，我们还说明了使用SDTA来优化SDTL转换的可能性，使用类似于SQL优化的基于规则的重写。
Statistical data manipulation is a crucial component of many data science analytic pipelines, particularly as part of data ingestion. This task is generally accomplished by writing transformation scripts in languages such as SPSS, Stata, SAS, R, Python (Pandas) and etc. The disparate data models, language representations and transformation operations supported by these tools make it hard for end users to understand and document the transformations performed, and for developers to port transformation code across languages.Tackling these challenges, we present a formal paradigm for statistical data transformation. It consists of a data model, called Structured Data Transformation Data Model (SDTDM), inspired by the data models of multiple statistical transformations frameworks; an algebra, Structural Data Transformation Algebra (SDTA), with the ability to transform not only data within SDTDM but also metadata at multiple structural levels; and an equivalent descriptive counterpart, called Structured Data Transformation Language (SDTL), recently adopted by the DDI Alliance that maintains international standards for metadata as part of its suite of products. Experiments with real statistical transformations on socio-economic data show that SDTL can successfully represent 86.1% and 91.6% respectively of 4,185 commands in SAS and 9,087 commands in SPSS obtained from a repository.We illustrate with examples how SDTA/SDTL could assist with the documentation of statistical data transformation, an important aspect often neglected in metadata of datasets. We propose a system called C2Metadata that automatically captures the transformation and provenance information in SDTL as a part of the metadata. Moreover, given the conversion mechanism from a source statistical language to SDTA/SDTL, we show how functional-equivalent transformation programs could be converted to other functionally equivalent programs, in the same or different language, permitting code reuse and result reproducibility, We also illustrate the possibility of using of SDTA to optimize SDTL transformations using rule-based rewrites similar to SQL optimizations.
登录
查看更多内容
用于元数据集成的关系语言
DOI：
--
发表时间：
2005
期刊：
TODS
影响因子：
--
作者：
C. M. Wyss;E. Robertson
通讯作者：
E. Robertson
统计数据库的查询语言
DOI：
--
发表时间：
1985
期刊：
影响因子：
--
作者：
Z. Ozsoyoglu;G. Ozsoyoglu
通讯作者：
G. Ozsoyoglu
多维数组的查询语言：设计、实现和优化技术
DOI：
--
发表时间：
1996
期刊：
ACM SIGMOD Conference
影响因子：
--
作者：
L. Libkin;R. Machlin;L. Wong
通讯作者：
L. Wong
Foofah：通过示例转换数据
DOI：
10.1145/3035918.3064034
发表时间：
2017
期刊：
Proceedings of the 2017 ACM International Conference on Management of Data
影响因子：
--
作者：
Zhongjun (Mark) Jin;Michael R. Anderson;Michael J. Cafarella;H. V. Jagadish
通讯作者：
H. V. Jagadish
RAM：多维数组 DBMS
DOI：
--
发表时间：
2004
期刊：
EDBT Workshops
影响因子：
--
作者：
A. V. Ballegooij
通讯作者：
A. V. Ballegooij