Improving Cloud Storage Network Bandwidth Utilization of Scientific Applications
Improving Cloud Storage Network Bandwidth Utilization of Scientific Applications
复制标题
提高科学应用的云存储网络带宽利用率
DOI：
10.1145/3600061.3603122
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Chien S
中科院分区：
文献类型：
--
作者：
Chien S
云提供商开始提供托管服务，以吸引传统上在超级计算机上执行的科学应用程序。其中一个例子是2018年发布的完全托管并行文件系统（PFS） AWS FSx for Lustre。然而，由于科学应用的性质，前端存储网络带宽在其生命周期的大部分时间内是完全空闲的。此外，定价模型与可伸缩性需求不匹配。我们提出了iFast，一种用于科学应用的新型主机端缓存机制，它通过廉价的本地存储重叠计算和数据回写，提高了存储带宽利用率和端到端应用性能。iFast支持在科学应用中广泛使用的按摩传递接口（MPI）库，并作为预加载库实现。它不需要更改应用程序、MPI库或云运营商的支持。我们演示了iFast如何将具有代表性的科学应用程序Neko的端到端时间缩短13-40%。
Cloud providers began to provide managed services to attract scientific applications, which have been traditionally executed on supercomputers. One example is AWS FSx for Lustre, a fully managed parallel file system (PFS) released in 2018. However, due to the nature of scientific applications, the frontend storage network bandwidth is left completely idle for the majority of its lifetime. Furthermore, the pricing model does not match the scalability requirement. We propose iFast, a novel host-side caching mechanism for scientific applications that improves storage bandwidth utilization and end-to-end application performance: by overlapping compute and data writeback through inexpensive local storage. iFast supports the Massage Passing Interface (MPI) library that is widely used by scientific applications and is implemented as a preloaded library. It requires no change to applications, the MPI library, or support from cloud operators. We demonstrate how iFast can accelerate the end-to-end time of a representative scientific application Neko, by 13–40%.
Lustre：星际文件系统
DOI：
--
发表时间：
2002
期刊：
影响因子：
--
作者：
P. Braam;Philipp Schwan
通讯作者：
Philipp Schwan
Neko：现代、便携且可扩展的高保真计算流体动力学框架
DOI：
--
发表时间：
2021
期刊：
Computers & Fluids
影响因子：
--
作者：
Niclas Jansson;Martin Karp;Artur Podobas;S. Markidis;P. Schlatter
通讯作者：
P. Schlatter