结合逻辑与物理I/O访问信息的存储系统优化策略的研究

批准号:
61303038
项目类别:
青年科学基金项目
资助金额:
23.0 万元
负责人:
廖剑伟
依托单位:
学科分类:
F0204.计算机系统结构与硬件技术
结题年份:
2016
批准年份:
2013
项目状态:
已结题
项目参与者:
陈超、邹强、李娅、刘晓燕、谭凤、张泽宇
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
本项目拟研究主动式存储系统的I/O优化策略,以克服当前主动式存储系统模型的不足。通过捕获应用程序的逻辑I/O访问信息和其在存储服务器上的物理I/O访问信息,采用有向无环图(DAG, Directed Acyclic Graph)记录、合并优化和管理所有I/O事件;同时构建I/O事件之间的依赖关系。通过建立应用程序的逻辑I/O访问和物理I/O访问之间的映射联系,利用基于概率计算的预测模型预测并分析逻辑和物理I/O访问模式,结合I/O事件的依赖关系,为以并行文件系统为基础设施的主动式存储系统准确地执行数据预取和数据物理分布的优化操作提供基本决策信息,从而提高I/O子系统的吞吐率并减少应用程序本身的执行时间,最终达到提高系统整体性能的目标。
英文摘要
This project aims to propose a framework to effectively support I/O optimization strategies for overcoming the shortcomings in conventional active storage systems. We first trace both logical I/O operations on the client side and physical I/O operations on the storage server side related to the applications. Then the proposed framework employs directed acyclic graphs (DAGs) to record, optimize and manage all I/O events to explore the dependency among all events. Next, the mapping relationship between logical and physical I/O operations will be explored and used to predict the logical and physical I/O access patterns. Therefore, according to the obtained logical I/O access patterns and its relevant physical access patterns, we can predict both I/O access patterns in the near future exactly, which can benefit to data pre-fetching and dynamical data re-striping in the active storage systems. Finally, the proposed framework that equipped with certain I/O optimization strategies can not only improve I/O data throughput of the I/O systems, but also reduce the execution times of the applications. As a result, the overall system's performance can be boosted to a great extent.
本项目研究分布式存储系统的I/O优化策略,以克服当前分布式存储系统模型的不足。通过捕获应用程序的逻辑I/O访问信息和其在存储服务器上的物理I/O访问信息,采用有向无环图(Directed Acyclic Graph, DAG)记录、合并优化和管理所有I/O事件,有助于构建I/O事件的依赖关系。通过建立应用程序的逻辑I/O访问和物理I/O访问之间的映射联系,利用基于概率计算的预测模型预测并分析逻辑和物理I/O访问模式,结合I/O事件的依赖关系,为以并行文件系统为基础设施的主动式存储系统准确地引导数据预取和数据物理分布的优化策略提供基本决策信息,从而提高I/O子系统的吞吐率并减少应用程序本身的执行时间,最终达到提高系统整体性能的目标。 . 特别地,本项目通过研究实现部署在存储结点和I/O结点的存储服务器端的自底而上的I/O优化机制(包括基于磁盘块访问模式的推送式数据预),从而减少计算结点参与I/O优化操作的力度进而加速应用程序执行并大幅提升存储系统输入/输出性能,最终解决或者缓解I/O性能与计算性能不匹配的问题。从实验结果看,本项目所研究的存储服务器端的I/O优化机制能够有效地减少客户端机器参与I/O优化的力度达30%以上。简单之,本项目研究实现的分布式文件系统支持数据预取和物理块优化分布等I/O优化机制,从而达到提供快速I/O响应并提高I/O数据吞吐量的目标。因而,该分布式存储系统非常适合作为云计算平台(Fat Server/Thin Client Platform)的存储系统基础设施。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Performing Initiative Data Prefetching in Distributed File Systems for Cloud Computing
在云计算的分布式文件系统中执行主动数据预取
DOI:10.1109/tcc.2015.2417560
发表时间:2017-07-01
期刊:IEEE TRANSACTIONS ON CLOUD COMPUTING
影响因子:6.5
作者:Liao, Jianwei;Trahay, Francois;Ishikawa, Yutaka
通讯作者:Ishikawa, Yutaka
Log-less metadata management on metadata server for parallel file systems.
并行文件系统元数据服务器上的无日志元数据管理
DOI:10.1155/2014/813521
发表时间:2014
期刊:TheScientificWorldJournal
影响因子:--
作者:Liao J;Xiao G;Peng X
通讯作者:Peng X
DOI:10.1109/jsyst.2014.2300611
发表时间:2015-09
期刊:IEEE Systems Journal
影响因子:4.4
作者:Jianwei Liao;Li Li;Huaidong Chen;Xiaoyan Liu
通讯作者:Xiaoyan Liu
DOI:10.1109/lca.2014.2329871
发表时间:2015
期刊:IEEE Computer Architecture Letters
影响因子:2.3
作者:Jianwei Liao;Fengxiang Zhang;Li Li-Li;G. Xiao
通讯作者:Jianwei Liao;Fengxiang Zhang;Li Li-Li;G. Xiao
DOI:10.1109/tpds.2015.2496595
发表时间:2016-09
期刊:IEEE Transactions on Parallel and Distributed Systems
影响因子:5.3
作者:Jianwei Liao;François Trahay;Balazs Gerofi;Y. Ishikawa
通讯作者:Jianwei Liao;François Trahay;Balazs Gerofi;Y. Ishikawa
面向in-storage智能计算的固态硬盘缓存管理优化
- 批准号:n/a
- 项目类别:省市级项目
- 资助金额:0.0万元
- 批准年份:2022
- 负责人:廖剑伟
- 依托单位:
面向高性能计算平台的多级层次结构并行存储系统的优化技术研究
- 批准号:61872299
- 项目类别:面上项目
- 资助金额:61.0万元
- 批准年份:2018
- 负责人:廖剑伟
- 依托单位:
国内基金
海外基金
