Runtime provenance refinement for notebooks
Runtime provenance refinement for notebooks
复制标题
笔记本的运行时出处细化
DOI：
10.1145/3530800.3534535
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Kennedy, Oliver
中科院分区：
文献类型：
--
作者：
Deo, Nachiket;Glavic, Boris;Kennedy, Oliver
计算笔记本（例如，Apache Zeppelin）已经成为数据探索、准备和ETL的流行选择。笔记本比传统的工作流系统更适合数据管道的交互式开发，因为它们为计算结果提供即时反馈，并且不需要预先指定完整的计算。然而，笔记本模型的可重复性很差，不支持在代码或输入更改时自动增量重新评估代码，并且不允许并行执行单元格-所有这些都是其基于内核的评估策略的症状。我们提出了一个新的“工作簿”模型，结合了可用性的笔记本电脑的出处和并行执行能力的工作流系统。这是通过一种新颖的方法实现的，该方法在运行时细化Python代码出处的静态近似，以及一个调度程序，该调度程序根据在运行时检测到或反驳的数据依赖关系动态调整单元的执行顺序。我们证明了这种方法的可行性，在我们的笔记本电脑引擎Vizier使用原型实现。
Computational notebooks (e.g., Jupyter or Apache Zeppelin) have become a popular choice for data exploration, preparation, and ETL. Notebooks are more suited for interactive development of data pipelines than classical workflow systems, because they provide immediate feedback for the results of a computation and do not require the full computation to be specified upfront. However, the notebook model suffers from poor reproducibility, does not support automatic incremental re-evaluation of code when the code or inputs change, and does not allow for parallel execution of cells --- all symptoms of its kernel-based evaluation strategy. We propose a new "workbook" model that combines the usability of notebooks with the provenance and parallel execution capabilities of workflow systems. This is made possible through a novel approach that refines a static approximation of provenance for Python code at runtime and a scheduler that dynamically adapts the execution order of cells based on data dependencies detected or refuted at runtime. We demonstrate the feasibility of this approach using a prototype implementation in our notebook engine Vizier.
登录
查看更多内容
DOI：
10.14778/3436905.3436911
发表时间：
2020-12
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
Adriane P. Chapman;P. Missier;G. Simonelli;Riccardo Torlone
通讯作者：
Adriane P. Chapman;P. Missier;G. Simonelli;Riccardo Torlone
影响因子：
4.1
作者：
Pimentel JF;Murta L;Braganholo V;Freire J
通讯作者：
Freire J
影响因子：
16.6
作者：
Pimentel, Joao Felipe;Freire, Juliana;Braganholo, Vanessa
通讯作者：
Braganholo, Vanessa
你的笔记本还不够破烂，更换它
DOI：
--
发表时间：
2020
期刊：
Conference on Innovative Data Systems Research (CIDR
影响因子：
--
作者：
Michael Brachmann, William Spoth
通讯作者：
Michael Brachmann, William Spoth