A Framework to capture and reproduce the Absolute State of Jupyter Notebooks
A Framework to capture and reproduce the Absolute State of Jupyter Notebooks
复制标题
捕获和重现 Jupyter Notebooks 绝对状态的框架
DOI：
10.1145/3491418.3530296
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Pierce, Marlon
中科院分区：
文献类型：
--
作者：
Wannipurage, Dimuthu;Marru, Suresh;Pierce, Marlon
笔记本是一个非常流行的工具，用于创建和叙述计算研究项目。它们还具有创造可复制的科学研究文物的巨大潜力。捕获笔记本的完整状态具有额外的好处;例如，笔记本的执行可以在本地和远程资源之间分割，其中后者可能具有更强大的处理能力或存储大型或访问受限的数据。在详细检查时，使笔记本电脑完全可再现存在几个挑战。notebook代码必须完全复制，并且底层Python运行时环境必须相同。在复制引用的数据、外部库依赖项和运行时变量状态时会出现更微妙的问题。本文提出了这些问题的解决方案，使用Kontyer的标准扩展机制，创建一个可归档的系统状态运行的笔记本电脑。我们表明，这些额外的机制，涉及与底层的Linux内核进行交互的开销，不引入大量的执行时间开销，证明了该方法的可行性。
Jupyter Notebooks are an enormously popular tool for creating and narrating computational research projects. They also have enormous potential for creating reproducible scientific research artifacts. Capturing the complete state of a notebook has additional benefits; for instance, the notebook execution may be split between local and remote resources, where the latter may have more powerful processing capabilities or store large or access-limited data. There are several challenges for making notebooks fully reproducible when examined in detail. The notebook code must be replicated entirely, and the underlying Python runtime environments must be identical. More subtle problems arise in replicating referenced data, external library dependencies, and runtime variable states. This paper presents solutions to these problems using Juptyer’s standard extension mechanisms to create an archivable system state for a running notebook. We show that the overhead for these additional mechanisms, which involve interacting with the underlying Linux kernel, does not introduce substantial execution time overheads, demonstrating the approach’s feasibility.
登录
查看更多内容
影响因子：
2.1
作者：
Granger, Brian E.;Perez, Fernando
通讯作者：
Perez, Fernando
适用于混合云上数据科学 Jupyter Notebooks 的上下文感知执行迁移工具
DOI：
--
发表时间：
2021
期刊：
eScience
影响因子：
--
作者：
Renato L. F. Cunha;L. V. Real;Renan Souza;B. Silva;M. Netto
通讯作者：
M. Netto
影响因子：
--
作者：
C. Jay;R. Haines;D. Katz
通讯作者：
D. Katz
Unidata JupyterHub 服务器：面向学生和教育工作者的在线 PyAOS 资源
DOI：
--
发表时间：
2018
期刊：
影响因子：
--
作者：
J. Chastang
通讯作者：
J. Chastang