云存储系统中重复数据删除技术研究

批准号:
61402385
项目类别:
青年科学基金项目
资助金额:
26.0 万元
负责人:
毛波
依托单位:
学科分类:
F0204.计算机系统结构与硬件技术
结题年份:
2017
批准年份:
2014
项目状态:
已结题
项目参与者:
吴素贞、陈碧黎、钟琪、李超、王彩丽、万畅、林为伟、徐航
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
随着移动互联网等信息技术的快速发展,数据呈爆炸式增长。“大数据”的兴起对云存储系统的发展和应用起着积极的推动作用,而云存储系统的性能和可用性是影响云存储服务应用和推广的重要因素。重复数据删除技术可以有效地提高存储效率和网络带宽利用率,并已逐渐被应用于云存储系统中。本项目拟通过研究云存储系统中的重复数据删除技术来提高云存储系统的性能和可用性,主要研究内容包括:(1)测试和分析缓存空间分配对重复数据删除存储系统读写性能的影响;(2)在基于重复数据删除技术的云存储系统节点内部研究基于应用负载变化的动态缓存管理策略,提高缓存利用率和存储系统性能;(3)研究在多个云存储系统之间根据重复数据删除技术中的数据引用特征进行数据的布局,提高云存储系统的可用性。通过本申请项目的研究,可以有效地提高云存储系统的性能和可用性,并推动重复数据删除技术在云存储系统中的更广泛应用。
英文摘要
Data are exploding with the rapid development of the information technology, such as the mobile Internet. The rise of "big data" further promotes the wide development and application of cloud storage systems. The performance and availability of cloud storage systems are important factors that affect the applications and the popularizations of the cloud storage services. The data deduplication technology can effectively improve the storage efficiency and reduce the amount of the data transmission. Recently, it has been gradually applied to cloud storage systems. This project intends to research on the data deduplication technology in cloud storage systems to improve the performance and availability. The main research contents include: (1) Experimental evaluation and analysis of the effect of the cache space allocation on the read and write performance of deduplication storage systems. (2) Research on the dynamic cache management strategy based on the application patterns inside cloud storage systems to improve the cache efficiency and the system performance. (3) Research on the data layout strategy among multiple cloud storage systems based on the data reference characteristics to improve the system availability. The goal of the project is to effectively improve the performance and availability of cloud storage systems, and further promote the applications of the data deduplication in cloud storage systems.
云存储系统的性能和可用性是影响云存储服务应用和推广的重要因素,而重复数据删除技术可以有效地提高存储效率和网络带宽利用率,已逐渐应用于云存储系统中。本项目研究了云存储系统中的重复数据删除技术和闪存存储介质的应用,取得如下成果:.(1)研究了多云存储系统中基于用户访问和重复数据删除技术特征的数据布局策略HyRD和DAC,HyRD减少了33.4%的成本和58.7%的访问延迟,显著提高了云存储系统的性价比和可用性;.(2)研究了云存储系统中重复数据删除技术的应用,提出了性能导向的重复数据删除存储系统POD,对性能最高可到87.9%的提升;.(3)研究了云存储系统中的虚拟机存储在线迁移技术,提出了一种基于备份快照虚拟机的重定向迁移技术SnapMig,可以有效减少虚拟机在线迁移时间达到2.92倍;.(4)研究了云存储系统中闪存存储介质的应用,提出了一系列的性能和可靠性优化技术;.(5)研究了云存储系统中前摄性的数据恢复技术,提出了前摄性数据恢复技术IDO算法,有效地减少了数据恢复时间和提高系统性能。.受项目支持,在IEEE/ACM Transactions等国际期刊和本领域重要的国际会议(IPDPS、ICS、MSST、ICCD等)上发表(含已录用)论文23篇,其中在国际期刊(如TPDS 、TCAD、TC)等发表论文7篇,计算机研究与发展等2篇。培养研究生13名(已毕业6名),申请中国发明专利7项(已授权3项)。项目组通过积极参与相关领域主流国际会议、邀请国外专家访问等方式,与国外同行进行了深入的学术交流与合作。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2015
期刊:计算机研究与发展
影响因子:--
作者:毛波;叶阁焰;蓝琰佳;张杨松;吴素贞
通讯作者:吴素贞
Leveraging Data Deduplication to Improve the Performance of Primary Storage Systems in the Cloud
利用重复数据删除来提高云中主存储系统的性能
DOI:10.1145/2523616.2525939
发表时间:2013-10
期刊:IEEE Transactions on Computers (CCF A类期刊)
影响因子:--
作者:Bo Mao;Hong Jiang;Suzhen Wu;Lei Tian
通讯作者:Lei Tian
LDM: Log Disk Mirroring with Improved Performance and Reliability for SSD-based Disk Arrays
LDM:日志磁盘镜像可提高基于 SSD 的磁盘阵列的性能和可靠性
DOI:--
发表时间:2016
期刊:ACM Transactions on Storage (CCF A类期刊)
影响因子:--
作者:Suzhen Wu;Bo Mao;Xiaolan Chen;Hong Jiang
通讯作者:Hong Jiang
Improving the SSD Performance by Exploiting Request Characteristics and Internal Parallelism
利用请求特征和内部并行性提高SSD性能
DOI:10.1109/tcad.2017.2697961
发表时间:2018-02
期刊:IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (CCF A类期刊)
影响因子:--
作者:Bo Mao;Suzhen Wu;Lide Duan
通讯作者:Lide Duan
DOI:10.1109/tpds.2017.2692757
发表时间:2017-10
期刊:IEEE Transactions on Parallel and Distributed Systems
影响因子:5.3
作者:Suzhen Wu;Bo Mao;Yanping Lin;Hong Jiang
通讯作者:Suzhen Wu;Bo Mao;Yanping Lin;Hong Jiang
基于重复数据删除的闪存垃圾回收技术研究
- 批准号:61972325
- 项目类别:面上项目
- 资助金额:60.0万元
- 批准年份:2019
- 负责人:毛波
- 依托单位:
重复数据删除存储系统的可靠性关键技术研究
- 批准号:61772439
- 项目类别:面上项目
- 资助金额:16.0万元
- 批准年份:2017
- 负责人:毛波
- 依托单位:
国内基金
海外基金
