dispel4py
dispel4py
复制标题
驱散4py
DOI：
10.1145/2835857.2835863
复制
发表时间：
2015
期刊：
影响因子：
--
通讯作者：
Krause A
中科院分区：
文献类型：
--
作者：
Krause A
我们提出了dispel4py，一种新的数据密集型和高性能的计算中间件，作为一个标准的Python库，用于描述基于流的工作流。它允许用户在本地开发他们的科学应用程序，然后在各种HPC基础设施上运行它们，而无需对代码进行任何更改。此外，它还提供了到MPI、多处理、Storm和Spark框架的自动化和高效的并行映射，这些框架通常用于大数据应用程序。它建立在Python在许多环境中的广泛可用性的基础上，只需要熟悉基本的Python语法。我们将通过一个例子来展示dispel4py的优点。最后，我们将展示dispel4py如何作为一个易于使用的工具，使用真实世界的场景来设计科学应用程序。
We present dispel4py, a novel data intensive and high performance computing middleware provided as a standard Python library for describing stream-based workflows. It allows its users to develop their scientific applications locally and then run them on a wide range of HPC-infrastructures without any changes to the code. Moreover, it provides automated and efficient parallel mappings to MPI, multiprocessing, Storm and Spark frameworks, commonly used in big data applications. It builds on the wide availability of Python in many environments and only requires familiarity with basic Python syntax. We will show the dispel4py advantages by walking through an example. We will conclude demonstrating how dispel4py can be employed as an easy-to-use tool for designing scientific applications using real-world scenarios.