Materia: A Data Quality Control Embedded Domain Specific Language in Python
Materia: A Data Quality Control Embedded Domain Specific Language in Python
复制标题
Materia：Python 中的数据质量控制嵌入式领域特定语言
DOI：
10.1007/978-3-030-61146-0_23
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Scully-Allison, Connor
中科院分区：
文献类型：
--
作者：
Scully-Allison, Connor
目前环境科学中的数据质量控制（QC）解决方案被锁定在适当的平台内或依赖于专门的软件。当试图将QC集成到现有工作流程中时，这可能会给数据用户带来问题。为了解决这个问题，我们开发了一种嵌入式领域特定语言（EDSL）Materia，它提供了函数、数据结构和流畅的语法，用于定义和执行数据质量控制测试。Materia使开发人员能够更轻松地将QC集成到复杂的数据管道中，并使学生和公民科学家更容易获得QC。我们通过两个指标来评估Materia：生产力和定量性能分析。我们的生产力示例展示了Materia如何简化Pandas中复杂的测试描述，并反映常见QC测试的自然语言描述。我们还证明了Materia实现了令人满意的性能，在三秒内处理了超过200，000个浮点值。
Current solutions for data quality control (QC) in the environmental sciences are locked within propriety platforms or reliant on specialized software. This can pose a problem for data users when attempting to integrate QC into their existing workflows. To address this limitation, we developed an embedded domain specific language (EDSL), Materia, that provides functions, data structures, and a fluent syntax for defining and executing quality control tests on data. Materia enables developers to more easily integrate QC into complex data pipelines and makes QC more accessible for students and citizen scientists. We evaluate Materia via two metrics: productivity and a quantitative performance analysis. Our productivity examples show how Materia can simplify complex descriptions of tests in Pandas and mirror natural language descriptions of common QC tests. We also demonstrate that Materia achieves satisfactory performance with over 200,000 floating-point values processed in under three seconds.
登录
查看更多内容
估计并不邪恶
DOI：
--
发表时间：
2014
期刊：
CACM
影响因子：
--
作者：
Phillip G. Armour
通讯作者：
Phillip G. Armour
Keystone：环境科学流数据管理模型
DOI：
--
发表时间：
2019
期刊：
影响因子：
--
作者：
Connor Scully
通讯作者：
Connor Scully
使用 Haskell 进行特定领域语言和代码合成
影响因子：
--
作者：
Andy Gill
通讯作者：
Andy Gill
流环境传感器数据的近实时自主质量控制
DOI：
--
发表时间：
2018
期刊：
International Conference on Knowledge-Based Intelligent Information & Engineering Systems
影响因子：
--
作者：
Connor Scully;Vinh D. Le;Eric Fritzinger;S. Strachan;F. Harris;S. Dascalu
通讯作者：
S. Dascalu