Accelerating Data-Intensive Seismic Research Through Parallel Workflow Optimization and Federated Cyberinfrastructure
Accelerating Data-Intensive Seismic Research Through Parallel Workflow Optimization and Federated Cyberinfrastructure
复制标题
通过并行工作流程优化和联合网络基础设施加速数据密集型地震研究
DOI：
10.1145/3624062.3624276
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Melgar, Diego
中科院分区：
文献类型：
--
作者：
Adair, Marcus;Rodero, Ivan;Parashar, Manish;Melgar, Diego
地震预警系统使用来自MudPy等模拟框架的合成数据来训练预测大地震震级的模型。MudPy虽然功能强大，但也有局限性：生成所需数据的模拟时间过长，缺乏用户友好性，并且没有发现和共享数据的平台。我们介绍了FakeMarkes DAGMan工作流（FDW），它利用开放科学网格（OSG）进行并行计算，以加速和简化MudPy模拟。与单机设置相比，FDW显著降低了运行时间并提高了吞吐量。使用FDW，我们还探索分区并行HTCondor DAGMan工作流，以提高OSG效率。此外，我们还研究了利用虚拟数据协作实验室（VDC）等网络基础设施来增强MudPy和OSG。具体来说，我们模拟使用云突发策略，以强制FDW工作卸载到VDC在OSG高峰需求，解决共享资源问题和用户目标，我们还讨论了VDC的价值，促进平台广泛访问MudPy产品。
Earthquake early warning systems use synthetic data from simulation frameworks like MudPy to train models for predicting the magnitudes of large earthquakes. MudPy, although powerful, has limitations: a lengthy simulation time to generate the required data, lack of user-friendliness, and no platform for discovering and sharing its data. We introduce FakeQuakes DAGMan Workflow (FDW), which utilizes Open Science Grid (OSG) for parallel computations to accelerate and streamline MudPy simulations. FDW significantly reduces runtime and increases throughput compared to a single-machine setup. Using FDW, we also explore partitioned parallel HTCondor DAGMan workflows to enhance OSG efficiency. Additionally, we investigate leveraging cyberinfrastructure, such as Virtual Data Collaboratory (VDC), for enhancing MudPy and OSG. Specifically, we simulate using Cloud bursting policies to enforce FDW job-offloading to VDC during OSG peak demand, addressing shared resource issues and user goals; we also discuss VDC’s value in facilitating a platform for broad access to MudPy products.
登录
查看更多内容
通过配置专用网络链接来管理数据密集型应用程序的云网络成本
DOI：
10.1145/3437359.3465563
发表时间：
2021
期刊：
arXiv preprint arXiv:2104.06913
影响因子：
--
作者：
Sfiligoi, Igor;Hare, Michael;Schultz, David;Würthwein, Frank;Riedel, Benedikt;Hutton, Tom;Barnet, Steve;Brik, Vladimir
通讯作者：
Brik, Vladimir
DOI：
10.1609/aaai.v34i01.5376
发表时间：
2020-02
期刊：
--
影响因子：
--
作者：
Kevin Fauvel;Daniel Balouek-Thomert;D. Melgar;Pedro Silva;Anthony Simonet;Gabriel Antoniu;Alexandru Costan;Véronique Masson;M. Parashar;I. Rodero;A. Termier
通讯作者：
Kevin Fauvel;Daniel Balouek-Thomert;D. Melgar;Pedro Silva;Anthony Simonet;Gabriel Antoniu;Alexandru Costan;Véronique Masson;M. Parashar;I. Rodero;A. Termier
影响因子：
2.1
作者：
Deelman, Ewa;Vahi, Karan;Livny, Miron
通讯作者：
Livny, Miron
突破云极限以支持 IceCube Science
影响因子：
3.2
作者：
Sfiligoi, Igor;Schultz, David;Wurthwein, Frank;Riedel, Benedikt;Deelman, Ewa
通讯作者：
Deelman, Ewa
虚拟数据合作实验室：用于协作数据驱动研究的区域网络基础设施
影响因子：
2.1
作者：
Parashar, Manish;Simonet, Anthony;Rodero, Ivan;Ghahramani, Forough;Agnew, Grace;Jantz, Ron;Honavar, Vasant
通讯作者：
Honavar, Vasant