PONCHO: Dynamic Package Synthesis for Distributed and Serverless Python Applications
PONCHO: Dynamic Package Synthesis for Distributed and Serverless Python Applications
复制标题
PONCHO：分布式和无服务器 Python 应用程序的动态包合成
DOI：
10.1145/3526060.3535459
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Thain, Douglas
中科院分区：
文献类型：
--
作者：
Sly-Delgado, Barry;Locascio, Nick;Simonetti, David;Wiseman, Brett;Tovar, Ben;Thain, Douglas
越来越多的分布式应用程序通过在分布式系统的节点之间调度函数调用来运行。为了正确操作，函数的代码和数据依赖关系必须以某种方式与调用一起分发。当将应用程序转换为在大型分布式系统上工作时，管理这些依赖关系变得具有挑战性：交付必须可扩展到数千个节点；依赖关系必须在整个系统中保持一致；并且该方法必须可供非特权开发人员使用。作为解决方案，在本文中，我们提出了PONCHO，这是一个轻量级的基于Python的工具包，它允许用户发现、打包和部署依赖项，作为分布式应用程序的一个组成部分。PONCHO封装了一组要在环境中执行的命令。PONCHO提供了一种轻量级的解决方案来创建和管理环境，提高了科学应用的可移植性和可重复性。在本文中，我们评估了PONCHO在物理、计算化学和超参数优化领域的实际应用，我们观察了在创建和分配环境时出现的挑战，并测量了由此产生的开销。
An increasing number of distributed applications operate by dispatching function invocations across the nodes of a distributed system. To operate correctly, the code and data dependencies of the function must be distributed along with the invocations in some way. When translating applications to work on large scale distributed systems, managing these dependencies becomes challenging: delivery must be scalable to thousands of nodes; the dependencies must be consistent across the system; and the method must be usable by an unprivileged developer. As a solution, in this paper we present PONCHO, which is a lightweight Python based toolkit which allows users to discover, package, and deploy dependencies as an integral part of distributed applications. PONCHO encapsulates a set of commands to be executed within an environment. PONCHO offers a lightweight solution to create and manage environments increasing the portability of scientific applications as well as reproducibility. In this paper, we evaluate PONCHO with real-world applications in the fields of physics, computational chemistry, and hyperparameter optimization, We observe the challenges that arise when creating and distributing an environment and measure the overheads that emerge as a result.
登录
查看更多内容
Binder Python 容器中包依赖关系和生命周期的实证研究
DOI：
10.1109/escience51609.2021.00032
发表时间：
2021
期刊：
2021 IEEE 17th International Conference on eScience (eScience
影响因子：
--
作者：
Shaffer, Tim;Chard, Kyle;Thain, Douglas
通讯作者：
Thain, Douglas
Coffea - 用于有效分析的柱状对象框架
影响因子：
--
作者：
N. Smith;L. Gray;M. Cremonesi;B. Jayatilaka;O. Gutsche;A. Hall;K. Pedro;M. A. Flechas;A. Melo;S. Belforte;J. Pivarski
通讯作者：
J. Pivarski
工作队列 + Python：可扩展科学集成应用程序的框架
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
Peter Bui;D. Rajan;Badi Abdul;J. Izaguirre;D. Thain
通讯作者：
D. Thain
PyCOMPS：Python 中的并行计算工作流程
DOI：
--
发表时间：
2016
期刊：
The international journal of high performance computing applications
影响因子：
--
作者：
E. Tejedor;Y. Becerra;Guillem Alomar;A. Queralt;Rosa M. Badia;J. Torres;Toni Cortes;Jesús Labarta
通讯作者：
Jesús Labarta
正在考虑在《J. 函数式编程》中发表 Nixos：纯函数式 Linux 发行版
DOI：
--
发表时间：
--
期刊：
影响因子：
--
作者：
E. Dolstra;Andres L Oh;N. Pierron
通讯作者：
N. Pierron