EaD: ECC-Assisted Deduplication With High Performance and Low Memory Overhead for Ultra-Low Latency Flash Storage
EaD: ECC-Assisted Deduplication With High Performance and Low Memory Overhead for Ultra-Low Latency Flash Storage
复制标题
EaD：ECC 辅助重复数据删除，具有高性能和低内存开销，适用于超低延迟闪存存储
DOI：
10.1109/tc.2022.3152665
复制
发表时间：
2023-01
期刊：
影响因子：
--
通讯作者：
Lingfang Zeng
中科院分区：
文献类型：
--
作者：
Suzhen Wu;Chunfeng Du;Weidong Zhu;Hong Jiang;Bo Mao;Lingfang Zeng
重复数据删除已成为闪存产品中的一项商品功能，可有效减少冗余写入数据并提高空间效率。然而，它也引入了计算和内存开销来生成和存储加密哈希（指纹），面对主存储中的适度数据冗余。随着3D XPoint和Z-NAND技术的出现，以及使用更强大的加密哈希函数（如SHA-256），计算和内存开销都是这些超低延迟闪存存储中内联式数据去重的日益严重的性能瓶颈。为了解决这些问题，我们提出了一种ECC辅助的闪存方法，称为EaD，它利用ECC属性和现代闪存的非对称读写性能特性。EaD首先通过利用数据块的设备生成的ECC值作为其指纹来识别数据相似性，从而显著减少了昂贵的基于MD5/SHA的加密哈希计算并减轻了存储空间开销。基于识别结果，从闪存读取类似的数据块及其ECC，以在存储器中执行逐字节比较，从而明确地识别并移除冗余数据块。我们的实验表明，EaD方法显着提高了I/O性能高达4.2<inline-formula><tex-math notation="LaTeX">${\times }$</tex-math><alternatives><mml:math><mml:mo>×</mml:mo></mml:math><inline-graphic xlink:href="wu-ieq1-3152665.gif"/></alternatives></inline-formula>，平均2.5<inline-formula><tex-math notation="LaTeX">${\times }$</tex-math><alternatives><mml:math><mml:mo>×</mml:mo></mml:math><inline-graphic xlink:href="wu-ieq2-3152665.gif"/></alternatives></inline-formula>，与现有的MD5/SHA-和基于采样的重复数据删除方法相比。
Data deduplication has become a commodity feature in flash storage products to effectively reduce redundant write data and improve space efficiency. However, it also introduces computing and memory overhead to generate and store the cryptographic hash (fingerprint) in face of the moderate data redundancy in primary storage. With the advent of 3D XPoint and Z-NAND technologies, and the stronger cryptographic hash functions in use, such as SHA-256, both the computing and memory overheads are increasingly serious performance bottlenecks for inline data deduplication in these ultra-low latency flash storage. To address these problems, we propose an ECC-assisted Deduplication approach, called EaD, which exploits the ECC property and the asymmetric read-write performance characteristics of modern flash storage. EaD first identifies data similarity by leveraging the device-generated ECC values of data chunks as their fingerprints, significantly reducing the costly MD5/SHA-based cryptographic hash computing and alleviating the memory space overhead. Based on the identification results, similar data chunks and their ECCs are read from the flash to perform a byte-by-byte comparison in memory to definitively identify and remove redundant data chunks. Our experiments show that the EaD approach significantly increases I/O performance by up to 4.2<inline-formula><tex-math notation="LaTeX">${\times }$</tex-math><alternatives><mml:math><mml:mo>×</mml:mo></mml:math><inline-graphic xlink:href="wu-ieq1-3152665.gif"/></alternatives></inline-formula>, with an average of 2.5<inline-formula><tex-math notation="LaTeX">${\times }$</tex-math><alternatives><mml:math><mml:mo>×</mml:mo></mml:math><inline-graphic xlink:href="wu-ieq2-3152665.gif"/></alternatives></inline-formula>, compared with the existing MD5/SHA- and sampling-based deduplication approaches.
登录
查看更多内容
DOI：
--
发表时间：
2012-06
期刊：
--
影响因子：
--
作者：
A. El-Shimi;Ran Kalach;Ankit Kumar;Adi Ottean;Jin Li;S. Sengupta
通讯作者：
A. El-Shimi;Ran Kalach;Ankit Kumar;Adi Ottean;Jin Li;S. Sengupta
DOI：
--
发表时间：
2018-08
期刊：
ArXiv
影响因子：
--
作者：
Yixin Luo
通讯作者：
Yixin Luo
DOI：
10.1109/msst.2019.00009
发表时间：
2019-05
期刊：
2019 35th Symposium on Mass Storage Systems and Technologies (MSST)
影响因子：
--
作者：
Zhichao Yan;Hong Jiang;Song Jiang;Yujuan Tan;Hao Luo
通讯作者：
Zhichao Yan;Hong Jiang;Song Jiang;Yujuan Tan;Hao Luo
影响因子：
22.7
作者：
Dean, Jeffrey;Barroso, Luiz Andre
通讯作者：
Barroso, Luiz Andre
DOI：
10.1145/1383422.1383443
发表时间：
2008-06
期刊：
--
影响因子：
--
作者：
S. Al-Kiswany;Abdullah Gharaibeh;E. Santos-Neto;George L. Yuan;M. Ripeanu
通讯作者：
S. Al-Kiswany;Abdullah Gharaibeh;E. Santos-Neto;George L. Yuan;M. Ripeanu