面向用户数据存储的云文件系统关键技术研究
批准号:
61073165
项目类别:
面上项目
资助金额:
36.0 万元
负责人:
杨广文
依托单位:
学科分类:
F0207.计算机网络
结题年份:
2013
批准年份:
2010
项目状态:
已结题
项目参与者:
刘力、刘立坤、刘松彬、李锐喆、邹茗、张扬
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
用户数据存储转向云平台已成为一种不可逆转的趋势,然而,现有的分布式文件系统面对这类特殊的应用时,在可扩展性和存储利用率等方面尚存在诸多不足。为了解决上述问题,本课题将重点研究面向用户数据的云存储这类特殊应用的云文件系统。针对这类应用中用户多、访问并发度高、数据量大、数据热点明显的特点,解决分布式文件系统中可扩展性(特别是存储容量和元数据),重复数据消重,数据热点侦测以及面向工作负载的数据放置和自适应负载平衡机制等技术问题;研制高效、易于扩展和管理的面向用户数据在线存储的云文件系统,并利用清华大学已经部署和使用的数据共享平台Corsair进行验证优化。通过上述工作,切切实实推动云存储模式在国内的推广,降低用户数据的存储成本和维护代价,同时提高数据的可用性,使用户切切实实地感受到云存储带来好处;同时为具备条件的企业快速构建自己的云存储平台提供支持。
英文摘要
用户数据存储转向云平台已成为一种不可逆转的趋势,然而,现有的分布式文件系统面对这类特殊的应用时,在可扩展性和存储利用率等方面尚存在诸多不足。为了解决上述不足,本课题面向用户数据的云存储这类特殊的应用,针对这类应用中用户多、访问并发度高、数据量大、数据热点明显的特点,探究了分布式文件系统的可扩展性(特别是存储容量和元数据)、重复数据删除、面向工作负载的数据放置和自适应负载平衡机制等技术问题,主要工作和成果包括:.1. 海量文件系统元数据查询的方法和技术:1) 针对以企业级文件服务器、附网存储设备和部分采用分布式元数据存储的高性能文件系统为代表的典型应用场景, 提出了基于选择性扫描(SmartScan)的元数据快速抓取和同步方法,较好地解决了元数据抓取和同步的效率问题。2) 针对部分存储管理任务对元数据副本和查询结果的 “足够新”的需求,提出了基于文件系统注入的元数据变化跟踪方法。.2. 提出了一种基于键值key-value存储的分布式文件系统元数据管理方法,既保证了高效的元数据访问,又为元数据的修改提供了灵活的接口,能够保证元数据的一致性。.3. 针对虚拟计算环境中的MapReduce负载,提出了一种数据位置感知的优化方法,能够将同一文件块的多个副本均匀分配到不同的物理机中,从根本上减少I/O相互干扰所引起的应用性能急剧下降。.4. 针对虚拟机镜像存储,提出了一种基于重复数据删除技术的存储方法,同时结合P2P技术和按需传输的思想,在节省存储空间的同时,能够有效降低网络负载、加快镜像文件的分发速度。.5. 通过精简元数据信息、改进缺省的数据分布策略等方式,解决了pNFS分布式文件系统在处理海量小文件时性能不足的问题。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2011
期刊:华中科技大学学报(自然科学版)科技大学
影响因子:--
作者:张金;姜进磊;方睿;武永卫
通讯作者:武永卫
DOI:--
发表时间:2012
期刊:小型微型计算机系统
影响因子:--
作者:刘圣卓;姜进磊;杨广文;LIU Sheng-zhuo1,2,JIANG Jin-lei1,2,YANG Guang-wen1
通讯作者:LIU Sheng-zhuo1,2,JIANG Jin-lei1,2,YANG Guang-wen1
A highly efficient GPU-CPU hybrid parallel implementation of sparse LU factorization
稀疏 LU 分解的高效 GPU-CPU 混合并行实现
DOI:--
发表时间:2012
期刊:Chinese Journal of Electronics
影响因子:1.2
作者:Liu Li;Liu Li;Yang Guangwen
通讯作者:Yang Guangwen
DOI:10.1016/s1007-0214(11)70049-9
发表时间:2011-08
期刊:Tsinghua Science & Technology
影响因子:6.6
作者:Likun Liu;N. Wu;Chuncong Xu;Yongwei Wu;Guangwen Yang
通讯作者:Likun Liu;N. Wu;Chuncong Xu;Yongwei Wu;Guangwen Yang
DOI:--
发表时间:2011
期刊:华中科技大学学报(自然科学版)科技大学
影响因子:--
作者:彭辉;姜进磊;方睿;武永卫
通讯作者:武永卫
多维气候大数据存储与处理关键技术研究
- 批准号:61672312
- 项目类别:面上项目
- 资助金额:64.0万元
- 批准年份:2016
- 负责人:杨广文
- 依托单位:
基于结构化对等网络的全文搜索技术
- 批准号:60573110
- 项目类别:面上项目
- 资助金额:25.0万元
- 批准年份:2005
- 负责人:杨广文
- 依托单位:
面向信息集成的Grid技术研究
- 批准号:60373005
- 项目类别:面上项目
- 资助金额:23.0万元
- 批准年份:2003
- 负责人:杨广文
- 依托单位:
元计算系统资源管理与资源保护研究
- 批准号:60173007
- 项目类别:面上项目
- 资助金额:18.0万元
- 批准年份:2001
- 负责人:杨广文
- 依托单位:
国内基金
海外基金















{{item.name}}会员


