RAPIDS: Reconciling Availability, Accuracy, and Performance in Managing Geo-Distributed Scientific Data
RAPIDS: Reconciling Availability, Accuracy, and Performance in Managing Geo-Distributed Scientific Data
复制标题
RAPIDS：协调管理地理分布式科学数据的可用性、准确性和性能
DOI：
10.1145/3588195.3592983
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Foster, Ian
中科院分区：
文献类型：
--
作者：
Wan, Lipeng;Chen, Jieyang;Liang, Xin;Gainaru, Ana;Gong, Qian;Liu, Qing;Whitney, Ben;Arulraj, Joy;Liu, Zhengchun;Foster, Ian
在现代科学中，大数据发挥着越来越重要的作用。许多科学应用，例如在超级计算机上运行模拟或在先进仪器上进行实验，以前所未有的速度产生大量数据。分析和理解这些大数据是科学家取得科学突破的关键。然而，当存储系统发生中断或维护时，科学家可能无法访问数据，这严重阻碍了科学发现。为了提高数据的可用性，经常使用数据复制和擦除编码（EC）。但随着科学数据的规模越来越大，使用这两种方法会导致相当大的存储和网络开销，在本文中，我们提出了急流，一种混合的方法，结合了基于多网格的错误有界有损压缩与擦除编码，以显着减少所需的存储和网络开销，以保持高数据可用性。我们的实验表明，急流减少了高达7.5倍的存储开销和高达3倍的网络开销，以实现相同的可用性水平相比，常规的EC方法。我们通过建立两个模型来优化急流的容错配置和数据收集策略。我们证明，急流显着提高性能时，运行在多个CPU内核并行或GPU上。
In modern science, big data plays an increasingly important role. Many scientific applications, such as running simulations on supercomputers or conducting experiments on advanced instruments, produce huge amount of data at unprecedented speed. Analyzing and understanding such big data is the key for scientists to make scientific breakthroughs. However, data might become unavailable for scientists to access when outages or maintenance of the storage system occur, which severely hinders scientific discovery. To improve the data availability, data duplication and erasure coding (EC) are often used. But as the scientific data gets larger, using these two methods can cause considerable storage and network overhead.In this paper, we propose RAPIDS, a hybrid approach that combines the multigrid-based error-bounded lossy compression with erasure coding, to significantly reduce the storage and network overhead required for maintaining high data availability. Our experiments show that RAPIDS reduces the storage overhead by up to 7.5x and network overhead by up to 3x to achieve the same level of availability compared to the regular EC method. We improve RAPIDS by building two models to optimize the fault tolerance configurations and data gathering strategy. We demonstrate that RAPIDS significantly improves performance when running on many CPU cores in parallel or on GPUs.
登录
查看更多内容
一种使用 Blowfish 保护存储在 HDFS 上的敏感属性的方法
DOI：
--
发表时间：
2021
期刊：
2021 3rd International Conference on Advances in Computing, Communication Control and Networking (ICAC3N)
影响因子：
--
作者：
Anju Kaushik;V. K. Srivastava
通讯作者：
V. K. Srivastava
IT 运营评估
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
Steve Katzman
通讯作者：
Steve Katzman
ROIBIN-SZ：用于串行晶体学的快速且保持科学性的压缩
影响因子：
--
作者：
Robert Underwood;Chun Hong Yoon;A. M. Gok;S. Di;F. Cappello
通讯作者：
F. Cappello
PaSTRI：量子化学中双电子积分的误差有界有损压缩
DOI：
10.1109/cluster.2018.00013
发表时间：
2018
期刊：
2018 IEEE International Conference on Cluster Computing (CLUSTER)
影响因子：
--
作者：
A. M. Gok;S. Di;Y. Alexeev;Dingwen Tao;V. Mironov;Xin Liang;F. Cappello
通讯作者：
F. Cappello
分布式存储系统的需求感知擦除编码
影响因子：
6.5
作者：
Jun Yu Li;Baochun Li
通讯作者：
Baochun Li