基于SSD的大规模元数据处理技术研究
批准号:
60970025
项目类别:
面上项目
资助金额:
30.0 万元
负责人:
熊劲
依托单位:
学科分类:
F0202.系统软件、数据库与工业软件
结题年份:
2012
批准年份:
2009
项目状态:
已结题
项目参与者:
邢晶、马灿、陈欢、郭斯杰、贾鸿飞、陈卓
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
现在和未来越来越多的应用需要高效管理万亿量级文件的元数据,而现有的元数据处理技术在规模和性能方面还不能满足这样的需求。为解决这一问题,本课题研究提高大规模元数据处理性能的方法,主要内容包括:(1)研究能够适应元数据模动态增长的、名字空间自动划分的元数据分布方法,解决元数据处理的可扩展性问题和负载均衡问题;(2)利用SSD作为元数据的永久存储介质,研究根据SSD的I/O特征来组织元数据存储和管理元数据缓存的方法,提高单个元数据服务器的元数据处理的性能价格比;(3)研究大规模元数据的索引方法,提高大规模元数据的名字解析效率;(4)研究文件系统元数据的性能评价方法,分析典型应用的元数据访问模式和特征,开发一个能够模拟多种负载的元数据性能评测工具,为深入研究元数据处理奠定基础。通过本研究,能够为高效地管理万亿量级文件的元数据提供切实可行的解决方案。
英文摘要
随着IT技术的发展,互联网服务、传感器网络、物联网、科学工程计算、企业应用等各种应用的数据都在飞速增长, EB级海量数据的快速存取对文件系统的设计带来了前所未有的挑战,主要有以下三个方面:第一,现有的基于B+树的目录组织,对于万亿数量的文件元数据,存在伸缩性差和扩展困难等问题;第二,由于元数据访问的特点是小粒度的随机访问,对于这样的I/O模式,磁盘无法发挥其I/O带宽;第三,高并发的海量小文件访问性能低。.本课题针对上述三个问题进行深入的研究,并取得了以下六个方面的进展:.(1)针对基于SSD和HDD异构存储架构,提出了一种基于追加写和按访问热度的放置元数据的异构元数据存储技术Hybrid MDSL;.(2)针对含万亿数量文件的大名字空间,提出了一种按层次结构的粒度来自动划分名字空间的分布式元数据处理方法DDG;.(3)针对含万亿数量文件的大目录,提出了一种基于两级分布式可扩展哈希来组织和索引元数据的目录组织管理方法; .(4)针对海量小文件高并发访问,提出了一种基于表结构和列存储来组织小文件及其元数据的方法;.(5)针对I/O访问延迟高,提出了一种基于DRAM筛选数据和聚合写入的SSD缓存策略;.(6)针对海量小对象的并发读,提出了一种基于内存快照和追加写机制的键值存储技术。.. 在上述研究的基础上,我们在高水平国际会议和国内外核心期刊上发表了13篇学术论文(包括2篇已录用论文),提交了4份发明专利申请,获得了1份软件著作权登记,培养了2名博士生(毕业)和5名硕士生(毕业),以及2个分布式文件系统原型系统和1个本地键值存储系统原型系统。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:--
期刊:小型微型计算机系统
影响因子:--
作者:马灿;孟丹;熊劲
通讯作者:熊劲
DOI:--
发表时间:--
期刊:Huazhong Keji Daxue Xuebao (ziran Kexue Ban)/journal of Huazhong University of Science and Technology (natural Science Edition)
影响因子:--
作者:周江;熊劲;马灿
通讯作者:马灿
DOI:--
发表时间:--
期刊:计算机研究与发展
影响因子:--
作者:邢晶;熊劲;孙凝晖;马捷
通讯作者:马捷
DOI:--
发表时间:--
期刊:计算机研究与发展
影响因子:--
作者:陈卓;熊劲;马灿
通讯作者:马灿
DOI:--
发表时间:--
期刊:International Journal of Parallel, Emergent and Distributed Systems
影响因子:--
作者:Jiang Zhou;Can Ma;Jin Xiong;Weiping Wang;Dan Meng
通讯作者:Dan Meng
面向数据中心混合负载的数据存储结构及其转换技术研究
- 批准号:61379042
- 项目类别:面上项目
- 资助金额:76.0万元
- 批准年份:2013
- 负责人:熊劲
- 依托单位:
国内基金
海外基金















{{item.name}}会员


