面向分布式异构云数据中心的数据布局优化研究
批准号:
61602112
项目类别:
青年科学基金项目
资助金额:
21.0 万元
负责人:
熊润群
依托单位:
学科分类:
计算机网络
结题年份:
2019
批准年份:
2016
项目状态:
已结题
项目参与者:
方效林、张竞慧、单冯、金嘉晖、沈典、史济源、陈剑
中文摘要
数据布局是影响云平台服务质量的重要因素。随着云计算应用范围的不断拓展和云数据中心模式的不断演化,上层大数据应用呈现出数据间关联度高以及访问模式愈加复杂等特征,尤其是地理分布的异构云数据中心的出现,给数据布局管理带来了新的挑战。本项目围绕分布式异构云数据中心环境下的数据布局优化展开研究。首先,研究云间数据布局优化策略,充分考虑数据关联性和数据中心的存储容量、带宽等约束条件,解决多个云数据中心协同工作模式下网络传输开销大的问题;其次,研究云内数据布局优化算法,充分考虑大规模存储介质异构性及动态变化的数据价值等约束条件,解决任务执行性能低下的问题;最后,研究云数据中心内普适的能耗优化机制,充分结合当前系统的数据布局,解决云平台高能耗、低功效的问题。本项目将为云服务提供商部署和优化大规模地理分布的异构云数据中心的数据布局管理提供切实有效的解决方案,具有重要的理论意义和应用价值。
英文摘要
Data placement is an important factor that will affect the quality of service of cloud computing platform. With the explosion of applied range of cloud computing and the development of cloud data centers, big data has exhibited a remarkably high dependence, and its access patterns are also more complicated, at the same time, more and more geo-distributed heterogeneous cloud data centers are applied in big data processing. Such situations present new challenges for the data placement strategies of cloud data centers. This project thus proposes to optimize the data placement in distributed heterogeneous cloud data centers. Firstly, a data dependence aware data placement strategy is proposed with a joint consideration of the storage and network bandwidth limits of each data center. It is able to significantly reduce the data access cost for those request patterns spanning multiple cloud data centers. Secondly, a heterogeneity aware data placement algorithm is proposed. This algorithm can largely reduce the overall completion time for computing tasks by considering the heterogeneity of storage drivers and values of data items that will dynamic change with time in each cloud data center. Thirdly, based on the data distribution of each cloud data center, a new pervasive energy consumption optimization strategy is proposed to improve energy efficiency in cloud data centers. In summary, this project enacts a practical solution for the efficient execution of cloud applications for cloud service providers by the optimization of data placement in distributed heterogeneous cloud data centers.
本项目针对多个云数据中心数据布局优化问题展开研究。首先,研究分析了单云数据中心内Hadoop集群的数据布局优化策略,对数据访问带有倾斜性的数据集,任务执行性能平均提升了近45%;其次,针对现有数据布局策略不合理给云数据中心带来的高耗低效性,从数据布局优化的角度,研究分析了云数据中心能耗优化机制,与默认布局策略下的集群能耗开销相比,降幅近达30%;最后,研究分析了多云数据中心间数据布局优化算法,综合考虑延时、带宽利用率、供应商锁定级别、可用性、成本等因素,对多云数据中心存储系统的数据存储流程进行优化,设计了异构I/O感知的数据布局优化策略,实现数据的合理布局节省了整体网络带宽约25%。基于上述理论研究成果,项目组开发实现了面向大规模云数据中心数据布局优化系统以及单云数据中心的能耗优化系统。本项目研究成果能为云服务提供商部署和优化大规模地理分布的云数据中心的数据存储管理提供一定的理论支持和技术借鉴,同时对于降低云数据中心运维成本和节能减排具有积极的参考意义。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
Querying Web-Scale Knowledge Graphs Through Effective Pruning of Search Space
通过有效修剪搜索空间查询网络规模的知识图
DOI:
10.1109/tpds.2017.2665478
发表时间:
2017-08-01
期刊:
IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS
影响因子:
5.3
作者:
[Jin, Jiahui, Luo, Junzhou, Gao, Lixin]
通讯作者:
Gao, Lixin
Monte Carlo production monitoring tool for AMS experiment
用于 AMS 实验的蒙特卡罗生产监控工具
DOI:
--
发表时间:
2017
期刊:
Journal of Physics: Conference Series
影响因子:
--
作者:
[Runqun Xiong, Renli Shi, Feiqiao Huang, Baosong Shan, Vitali Choutko, Alex, er Egorov, Alex, re Eline, Oleg Demakov, Jinghui Zhang, Fang Dong, Junzhou Luo]
通讯作者:
Junzhou Luo
DOI:
10.1002/cpe.5245
发表时间:
2019-04
期刊:
Concurrency and Computation: Practice and Experience
影响因子:
--
作者:
[Jinghui Zhang;Jian Chen;Jun Zhan;Jiahui Jin;Aibo Song]
通讯作者:
Jinghui Zhang;Jian Chen;Jun Zhan;Jiahui Jin;Aibo Song
A data-locality-aware task scheduler for distributed social graph queries
用于分布式社交图查询的数据局部性感知任务调度程序
DOI:
10.1016/j.future.2018.04.086
发表时间:
2019
期刊:
Future Generation Computer Systems-The International Journal of eScience
影响因子:
7.5
作者:
[Jin Jiahui, Luo Junzhou, Du Mingyang, Dang Yongcheng, Li Feng, Zhang Jinghui, Song Aibo]
通讯作者:
Song Aibo
Delay Minimization for Data Transmission in Wireless Power Transfer Systems
无线电力传输系统中数据传输的延迟最小化
DOI:
10.1109/jsac.2018.2872395
发表时间:
2019-02
期刊:
IEEE Journal on Selected Areas (JSAC) in Communications
影响因子:
--
作者:
[Feng Shan, Junzhou Luo, Weiwei Wu, Xiaojun Shen]
通讯作者:
Xiaojun Shen
共 16 条
大规模工业LoRa网络高并发数据传输和能耗优化机制研究
-
批准号:62172091
-
项目类别:面上项目
-
资助金额:59万元
-
批准年份:2021
-
负责人:熊润群
-
依托单位:
国内基金
海外基金