可再生能源供电的MapReduce集群能耗调优技术研究
批准号:
61662057
项目类别:
地区科学基金项目
资助金额:
41.0 万元
负责人:
姜静清
依托单位:
学科分类:
F0204.计算机系统结构与硬件技术
结题年份:
2020
批准年份:
2016
项目状态:
已结题
项目参与者:
宋初一、赵海燕、刘慧、张一川、庄丽艳、包兰英、李甜甜、郭朝鹏、Georges DaCosta
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
随着大数据时代的到来,学术界和企业界普遍采用MapRedce集群支持大数据管理和分析,且因为可再生能源环境和经济成本低廉,人们更倾向于使用可再生能源供电的MapReduce集群。然而可再生能源通常具有间歇性、不稳定性和动态变化性,其生产的绿色电能的消纳一直是一个难题。在MapReduce集群中,该问题同样存在:集群耗电或小于绿色电能,产生大量浪费,或大于绿色电能,需要传统电力补足,究其原因是产电和耗电模型的不匹配造成的。本项目研究可再生能源供电的MapReduce集群能耗调优技术,给定可再生能源特征、硬件环境和任务属性等上下文,通过功耗限制、资源分配和任务管理等方法,在上下文不变的前提下调整MapReduce集群能耗,使集群满足在一定时间内“减少绿色电能的浪费,降低传统电能的消耗”的双重目标。本项目将研究成果集成至开源Hadoop MapReduce集群,并使用真实的风场产电数据和电商网站
英文摘要
With the explosive growth of data, clusters with support MapReduce platform have been widely adopted in both industry and academia to deal with big data managements and analysis. Considering its low environment and economic cost, it is better to adopt renewable energy to generate green power for MapReduce clusters. However, renewable energy is intermittent, instability and dynamic, which bring great challenges for utilizing green power. In a MapReduce cluster, green power is wasted when it is generated more than cluster’s consumption, and traditional power is required as supplement when green one is generated less than cluster’s consumption. The unmatched power generation model and power consumption model is the key reason. In theis project, we study energy consumption tuning techniques of MapReduce cluster powered by renewable energy. Given characteristics of renewable energy, a hardware environment, task attributes and other contexts, the bi-objective optimization of “improving the renewable energy utilization and reducing the traditional energy usage of MapReduce cluster” can be achieved in a time duration through energy consumption tuning, which is based on power limitation, resources allocation and tasks management, on the premise of invariant context. Eventually we will integrate our approaches to Hadoop MapReduce, and further implement a prototype system. Meanwhile, we will evaluate our approaches in the context abstracted from the power generation logs of wind power plant and database logs of e-commercial website.
因为可再生能源环境和经济成本低廉,人们更倾向于使用可再生能源供电的数据中心。然而可再生能源通常具有间歇性、不稳定性和动态变化性,其生产的绿色电能的消纳一直是一个难题。在数据中心中该问题同样存在。究其原因是产电和耗电模型的不匹配造成的。本项目研究可再生能源供电的数据中心能耗调优技术。. 项目提出一种面向大数据管理平台的能耗模型、基准测试用例和测量方法。对太阳能和风能的产电模型进行建模,对以虚拟机为粒度的能耗模型进行研究。提出了静态和动态两种调优目标。设计了DeMeter模拟软件,通过虚拟机迁移来调整服务器负载,完成服务器能耗与可再生能源的全局匹配。项目提出服务器闪烁技术并开展响应研究。提出了RepCloud (Renewable Energy Powered Cloud Data Center) 模型,采用常规电网和可再生能源发电混合为单个云数据中心供电,在不考虑地理分布性的前提下,最优化云数据中心的能源效率。对多个分布于不同地理位置的混合供电数据中心展开研究,提出了一种跨地域的长周期的能源感知的空间负载均衡算法。其次,针对可再生能源供电的数据中心中空间负载均衡调度算法展开研究,提出调度图的概念。. 开发一个支持可再生能源混合供电的云数据中心仿真平台CloudSimPer(CLOUD SIMulator hybrid-Powered by rEnewable eneRgy)。CloudSimPer支持多种负载、能源调度和任务管理算法下的云数据中心能耗仿真,支持用户自定义上述算法、支持DVFS、支持新能源以及传统能源的混合供电仿真。. 发表学术论文18篇,其中SCI论文8篇,一级学报1篇,出版学术专著1部,申请相关专利3项,培养了12名硕士生。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
A novel sequence-based prediction method for ATP-binding sites using fusion of SMOTE algorithm and random forests classifier
使用 SMOTE 算法和随机森林分类器融合的新型基于序列的 ATP 结合位点预测方法
DOI:10.1080/13102818.2020.1840436
发表时间:2020-01
期刊:Biotechnology & Biotechnological Equipment
影响因子:1.4
作者:Song Jiazhi;Liu Guixia;Song Chuyi;Jiang Jingqing
通讯作者:Jiang Jingqing
DOI:--
发表时间:2018
期刊:湖北民族学院学报(自然科学版)
影响因子:--
作者:平环;包兰英;姜静清
通讯作者:姜静清
DOI:--
发表时间:2018
期刊:IEEE Access
影响因子:3.9
作者:HUI LIU;Fusheng Yan;Jingqing Jiang;Jie Song
通讯作者:Jie Song
Image saliency detection for multiple objects
多个物体的图像显着性检测
DOI:10.1007/s11042-018-5731-0
发表时间:2018-02
期刊:Multimedia Tools and Applications
影响因子:3.6
作者:Wang Beilei;Meng Lu;Song Jie
通讯作者:Song Jie
DOI:--
发表时间:2017
期刊:计算机应用研究
影响因子:--
作者:张成刚;宋佳智;姜静清;裴志利
通讯作者:裴志利
基于负载布局的数据中心瞬态热量管理与节能方法
- 批准号:62162050
- 项目类别:地区科学基金项目
- 资助金额:36万元
- 批准年份:2021
- 负责人:姜静清
- 依托单位:
国内基金
海外基金















{{item.name}}会员


