Automated generation of scientific workflow generators with WfChef
Automated generation of scientific workflow generators with WfChef
复制标题
使用 WfChef 自动生成科学工作流程生成器
DOI：
10.1016/j.future.2023.04.031
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Ferreira da Silva, Rafael
中科院分区：
文献类型：
--
作者：
Coleman, Tainã;Casanova, Henri;Ferreira da Silva, Rafael
科学工作流程应用程序已经变得非常重要，它们在大规模计算平台上的自动化和高效执行一直是广泛研究和开发的主题。为了使这些努力取得成功，需要可靠的实验方法来评估工作流算法和系统。这种方法的基础是实际工作流实例的可用性。尽管公共存储库为一些科学应用程序提供了工作流实例，但这些实例的范围有限，并且工作流实例并不适用于所有感兴趣的应用程序规模。为了解决这个限制，之前的工作开发了任意规模的合成工作流实例的生成器。尽管很受欢迎，但这些生成器的实施是一个手动且劳动密集型的过程，需要专业的应用知识。因此，这些生成器仅针对少数应用程序，即使生产中有数百个工作流应用程序。我们介绍 WfChef，一个完全自动化的框架，用于为任何科学应用程序构建合成工作流生成器。基于特定应用程序的工作流实例的输入集，WfChef 自动生成合成工作流生成器。为了衡量生成的工作流程的真实性，我们定义并评估了几个指标。使用这些指标，我们将 WfChef 生成器生成的工作流程的真实性与之前可用的手工制作的生成器生成的工作流程的真实性进行比较。我们发现 WfChef 生成器不仅需要零开发工作（因为它们是自动生成的），而且生成的工作流程比手工制作的生成器生成的工作流程更真实。
Scientific workflow applications have gained significant importance, and their automated and efficient execution on large-scale computing platforms has been the subject of extensive research and development. For these efforts to be successful, a solid experimental methodology is needed to evaluate workflow algorithms and systems. A foundation for this methodology is the availability of realistic workflow instances. Although public repositories provide workflow instances for a few scientific applications, these are limited in scope, and workflow instances are not available for all application scales of interest. To address this limitation, previous work has developed generators of synthetic workflow instances of arbitrary scales. Despite being popular, the implementation of these generators is a manual and labor-intensive process that requires expert application knowledge. As a result, these generators only target a handful of applications, even though there are hundreds of workflow applications in production.We introduceWfChef, a fully automated framework for constructing a synthetic workflow generator for any scientific application. Based on an input set of workflow instances for a particular application, WfChef automatically produces a synthetic workflow generator. To measure the realism of the generated workflows, we define and evaluate several metrics. Using these metrics, we compare the realism of the workflows generated by WfChef generators to that of the workflows generated by the previously available, hand-crafted generators. We find that WfChef generators not only require zero development effort (because they are automatically produced), but also generate workflows that are more realistic than those generated by hand-crafted generators.
登录
查看更多内容
DOI：
10.1504/ijcse.2009.026999
发表时间：
2009-07
期刊：
ArXiv
影响因子：
--
作者：
J. Jacob;D. Katz;G. Berriman;J. Good;A. Laity;E. Deelman;C. Kesselman;Gurmeet Singh;Mei-Hui Su;T. Prince;Roy Williams
通讯作者：
J. Jacob;D. Katz;G. Berriman;J. Good;A. Laity;E. Deelman;C. Kesselman;Gurmeet Singh;Mei-Hui Su;T. Prince;Roy Williams
使用 WRENCH 开发生产工作流程管理系统的准确且可扩展的模拟器
DOI：
10.1016/j.future.2020.05.030
发表时间：
2020
期刊：
Future Generation Computer Systems
影响因子：
--
作者：
Casanova, Henri;Ferreira da Silva, Rafael;Tanaka, Ryan;Pandey, Suraj;Jethwani, Gautam;Koch, William;Albrecht, Spencer;Oeth, James;Suter, Frédéric
通讯作者：
Suter, Frédéric
DOI：
10.1145/1645164.1645177
发表时间：
2009-11
期刊：
--
影响因子：
--
作者：
U. Yildiz;Adnene Guabtni;A. Ngu
通讯作者：
U. Yildiz;Adnene Guabtni;A. Ngu
DOI：
10.1109/sc41405.2020.00066
发表时间：
2019-08
期刊：
SC20: International Conference for High Performance Computing, Networking, Storage and Analysis
影响因子：
--
作者：
Elliott Slaughter;Wei Wu;Yuankun Fu;Legend Brandenburg;N. Garcia;Wilhem Kautz;Emily Marx;Kaleb S. Morris;Wonchan Lee;Qinglei Cao;G. Bosilca;S. Mirchandaney;Sean Treichler;P. McCormick;A. Aiken
通讯作者：
Elliott Slaughter;Wei Wu;Yuankun Fu;Legend Brandenburg;N. Garcia;Wilhem Kautz;Emily Marx;Kaleb S. Morris;Wonchan Lee;Qinglei Cao;G. Bosilca;S. Mirchandaney;Sean Treichler;P. McCormick;A. Aiken
DOI：
10.1016/j.future.2017.10.029
发表时间：
2017-11
期刊：
Future Gener. Comput. Syst.
影响因子：
--
作者：
M. Malawski;A. Gajek;Adam Zima;B. Baliś;Kamil Figiela
通讯作者：
M. Malawski;A. Gajek;Adam Zima;B. Baliś;Kamil Figiela