Balancing reducer workload for skewed data using sampling-based partitioning
Balancing reducer workload for skewed data using sampling-based partitioning
复制标题
使用基于采样的分区来平衡倾斜数据的减速器工作负载
DOI：
10.1016/j.compeleceng.2013.07.001
复制
发表时间：
2014-02
期刊：
影响因子：
--
通讯作者：
Haifeng Li
中科院分区：
文献类型：
--
作者：
Zhaobin Liu;Changqing Ji;Yuanyuan Li;Haifeng Li
MapReduce已经成为分布式处理海量数据的流行工具。然而，当处理偏斜数据时，它不是有效的，并且它经常导致减少器负载不平衡。在本文中，我们解决的问题，如何有效地划分中间关键字，以平衡工作量的所有约简程序处理偏斜数据。我们提出了一个抽样方案来计算的近似分布的关键频率，估计的总体分布，然后预先制定一个分区计划。然后，我们将其应用于执行MapReduce作业的映射阶段。该工作不仅提供了一种负载均衡的分区策略，而且保持了MapReduce同步模式的高性能。我们还提出了两种基于采样结果的划分方法：聚类合并和聚类分裂合并。实验结果表明，我们的方法取得了更好的时间和负载平衡的结果。
MapReduce has emerged as a popular tool for distributed processing of massive data. However, it is not efficient when handling skewed data and it often leads to reducer load imbalance. In this paper, we address the problem of how to efficiently partition intermediate keys to balance the workload of all reducers when processing skewed data. We present a sampling scheme to compute the approximate distribution of key frequency, estimate the overall distribution and then make a partition scheme in advance. Then, we apply it to map phase of the executing MapReduce job. This work not only provides a load-balanced partition strategy, but also keeps a high performance of synchronous mode of MapReduce. We also propose two partition methods based on sampling results: cluster combination and cluster split combination. The experimental results show that our methods achieve a better time and load balancing results.
登录
查看更多内容
DOI：
10.1109/cloudcom.2010.25
发表时间：
2010-11
期刊：
2010 IEEE Second International Conference on Cloud Computing Technology and Science
影响因子：
--
作者：
Shadi Ibrahim;Hai Jin;Lu Lu-Lu;Song Wu;Bingsheng He;Li Qi
通讯作者：
Shadi Ibrahim;Hai Jin;Lu Lu-Lu;Song Wu;Bingsheng He;Li Qi
DOI：
10.1109/inmic.2011.6151466
发表时间：
2011-12
期刊：
2011 IEEE 14th International Multitopic Conference
影响因子：
--
作者：
F. Atta;Stratis Viglas;Salman Niazi
通讯作者：
F. Atta;Stratis Viglas;Salman Niazi
DOI：
10.5339/qfarf.2011.csp21
发表时间：
2011-12
期刊：
--
影响因子：
--
作者：
Mohammad Hammoud;Suhail Rehman;M. Sakr
通讯作者：
Mohammad Hammoud;Suhail Rehman;M. Sakr
DOI：
10.1109/embeddedcom-scalcom.2009.39
发表时间：
2009-09
期刊：
2010 IEEE 12th International Conference on High Performance Computing and Communications (HPCC)
影响因子：
--
作者：
Weijiang Liu;W. Qu;Zhaobin Liu;Keqiu Li
通讯作者：
Weijiang Liu;W. Qu;Zhaobin Liu;Keqiu Li
DOI：
10.1145/1807128.1807140
发表时间：
2010-06
期刊：
--
影响因子：
--
作者：
YongChul Kwon;M. Balazinska;Bill Howe;J. Rolia
通讯作者：
YongChul Kwon;M. Balazinska;Bill Howe;J. Rolia