A Generic and Highly Scalable Framework for the Automation and Execution of Scientific Data Processing and Simulation Workflows
A Generic and Highly Scalable Framework for the Automation and Execution of Scientific Data Processing and Simulation Workflows
复制标题
用于科学数据处理和模拟工作流程自动化和执行的通用且高度可扩展的框架
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
V. Hagenmeyer
中科院分区：
文献类型：
--
作者：
Jianlei Liu;Eric Braun;Clemens Düpmeier;Patrick Kuckertz;D. Ryberg;M. Robinius;D. Stolten;V. Hagenmeyer
为了对数据驱动的能源系统进行研究而执行复杂的数据处理和协同仿真工作流程，本文提出了一种通用的、模块化且高度可扩展的流程操作框架。该框架始终如一地应用网络技术来构建微服务架构。它将科学数据处理和仿真工具（例如Python、Matlab、OpenModelica）的启动、同步以及管理自动化，作为更大的跨学科、多领域数据处理和协同仿真工作流程的一部分。它在底层的集群计算环境中使用容器虚拟化来控制和管理不同的仿真节点。在该框架的处理工作流程中，软件可执行文件可以被分发到集群上的不同节点，通过通信适配器和高性能消息通道基础设施轻松访问数据并与其他组件进行通信。通过集成Apache NiFi，该框架还提供了一个易于使用的网络用户界面，允许用户为未来的能源系统解决方案对工作流程进行建模、执行和操作。一旦在流程操作框架中设置了一个复杂的工作流程，研究人员就可以在其本地工作站上无需任何设置或配置，并且无需了解底层基础设施或软件环境的任何细节即可使用该工作流程。
In order to perform complex data processing and co-simulation workflows for research on data driven energy systems, a generic, modular and highly scalable process operation framework is presented in this article. This framework consistently applies web technologies to build up a microservices architecture. It automates the startup, synchronization, and management of scientific data processing and simulation tools (e.g. Python, Matlab, OpenModelica) as part of larger transdisciplinary, multi-domain data processing and co-simulation workflows. It uses container virtualization on the underlying cluster computing environment to control and manage different simulation nodes.Within the framework’s processing workflow, software executables can be distributed to different nodes on the cluster, easily access data and communicate with other components via communication adapters and a high-performance messaging channel infrastructure. By integrating Apache NiFi, the framework also provides an easy-to-use web user interface to allow users to model, perform and operate workflows for future energy system solutions. As soon as a complex workflow is set up in the process operation framework, researchers can use the workflow without any setup or configuration on their local workstations and without knowing any details of the underlying infrastructure or software environment.
MOSAIK 和 HLA 的智能电网联合仿真：比较研究
DOI：
10.1007/s00450-017-0379-y
发表时间：
2018
期刊：
Computer Science - Research and Development
影响因子：
--
作者：
Steinbrink, C.;van der Meer, A. A.;Cvetkovic, M.;Babazadeh, D.;Rohjans, S.;Palensky, P.;Lehnhoff, S.
通讯作者：
Lehnhoff, S.
DOI：
10.1109/sedst.2015.7315262
发表时间：
2015
期刊：
2015 International Symposium on Smart Electric Distribution Systems and Technologies (EDST)
影响因子：
--
作者：
F. Schloegl;S. Rohjans;S. Lehnhoff;J. Velasquez;C. Steinbrink;P. Palensky
通讯作者：
P. Palensky