LDFS: A Low Latency In-Line Data Deduplication File System
LDFS: A Low Latency In-Line Data Deduplication File System
复制标题
LDFS：低延迟在线重复数据删除文件系统
DOI：
10.1109/access.2018.2800763
复制
发表时间：
2018
期刊：
影响因子：
3.9
通讯作者：
Si Lei
中科院分区：
文献类型：
--
作者：
Zhou Yongtao;Deng Yuhui;Yang Laurence T;Yang Ru;Si Lei
由于传感器和智能设备的快速增长，网络-物理-社会计算和网络（CPSCN）正在成为一种新的计算范式。CPSCN环境中生成了大量数据。传统的重复数据删除由于涉及长延迟而无法处理CPSCN环境。提出了一种低延迟的内联式重复数据删除文件系统（LDFS）。LDFS通过将数据块的地址写入对应的文件配方和指纹索引来对唯一的数据块和指纹索引进行并行化，从而避免在读取操作的路径上访问指纹索引。对于每个唯一的数据块，LDFS分配一个全局唯一的ID，因此，LDFS只需要一次磁盘访问就可以使用全局ID获得相应的数据块引用计数。为了保证写性能，LDFS采用更细粒度的锁来优化写缓冲区的块刷新策略。实验结果表明，与传统的重复数据删除文件系统LessFS相比，LDFS显著提高了关键路径上的读写性能.同时，LDFS实现了与LessFS几乎相同的重复数据删除率（40.8）。
Due to the rapid proliferation of sensors and intelligent devices, the cyber-physical-social computing and networking (CPSCN) is emerging as a new computing paradigm. Massive data have been generated in the CPSCN environment. The traditional data deduplication is not able to handle the CPSCN environment due to the involved long latency. This paper presents a low latency in-line data deduplication file system (LDFS). The LDFS decouples the unique data block and fingerprint index by writing the address of data blocks to the corresponding file recipe and fingerprint index, thus avoiding accessing fingerprint index on the path of the read operation. For every unique data block, the LDFS assigns a globally unique ID, and thus, the LDFS only requires one disk access to obtain the corresponding data block reference count using the global ID. In order to guarantee the write performance, the LDFS employs finer granularity lock to optimize the block flushing strategy of write buffer. Experimental results demonstrate that the LDFS significantly enhances the read and write performance on the critical path in contrast to the traditional deduplication file system LessFS. Meanwhile, the LDFS achieves almost the same deduplication ratio (40.8) as that of LessFS.
登录
查看更多内容
DOI：
10.1109/padsw.2014.7097802
发表时间：
2014-12
期刊：
2014 20th IEEE International Conference on Parallel and Distributed Systems (ICPADS)
影响因子：
--
作者：
Yongtao Zhou;Yuhui Deng;Junjie Xie
通讯作者：
Yongtao Zhou;Yuhui Deng;Junjie Xie
DOI：
10.1109/mascots.2012.32
发表时间：
2012-08
期刊：
2012 IEEE 20th International Symposium on Modeling, Analysis and Simulation of Computer and Telecommunication Systems
影响因子：
--
作者：
Youngjin Nam;Dongchul Park;D. Du
通讯作者：
Youngjin Nam;Dongchul Park;D. Du
DOI：
10.1145/1922649.1922660
发表时间：
2011-04
期刊：
ACM Computing Surveys (CSUR)
影响因子：
--
作者：
Yuhui Deng
通讯作者：
Yuhui Deng
DOI：
--
发表时间：
2008-02
期刊：
--
影响因子：
--
作者：
Benjamin Zhu;Kai Li;Hugo R. Patterson
通讯作者：
Benjamin Zhu;Kai Li;Hugo R. Patterson
DOI：
10.1109/sc.companion.2012.110
发表时间：
2012-11
期刊：
2012 SC Companion: High Performance Computing, Networking Storage and Analysis
影响因子：
--
作者：
Yujuan Tan;Zhichao Yan;D. Feng;E. Sha;Xiongzi Ge
通讯作者：
Yujuan Tan;Zhichao Yan;D. Feng;E. Sha;Xiongzi Ge