云计算环境下基于维存储的OLAP聚集计算关键技术研究

在三年的研究过程中，项目组针对OLAP海量数据处理问题，给出了针对倾斜数据的OLAP在线聚集算法，有效解决了倾斜数据对在线聚集的影响，大幅提升了在线聚集执行性能；定义了一种新的列文件存储格式HCFile（Hadoop Column File），将多维数据以星形模式组织，数据表按列文件格式进行存储，实现了基于Hadoop的OLAP数据按维存储，大大提高了OLAP多维聚集计算效率；给出了SQL查询到MapReduce工作流的翻译优化算法，合并具有相关性的作业，提高SQL执行效率；提出了云计算环境下的任务指派有效算法，该算法综合考虑了数据文件放置、网络带宽和集群负载，以作业完成时间为优化目标，能够快速计算出高效的任务指派方案；建立了基于MapReduce框架的QoS偏好感知的副本选择策略。针对数据中心的能耗成本优化问题，提出了基于动态定价策略的数据中心能耗成本优化方案；结合服务器动态开关和动态频率调节策略，提出了基于自反馈的服务器动态控制算法。同时，项目组在Dell集群上（32个计算节点）上部署了Hadoop环境，进行了相关算法模型的验证测试，开发了ＯＬＡＰ聚集计算原型系统。