A holistic cross-layer optimization approach for mitigating stragglers in in-memory data processing
A holistic cross-layer optimization approach for mitigating stragglers in in-memory data processing
复制标题
用于减少内存数据处理中落后者的整体跨层优化方法
DOI：
10.1016/j.sysarc.2020.101801
复制
发表时间：
2020-12
影响因子：
4.5
通讯作者：
Keqiu Li
中科院分区：
文献类型：
--
作者：
Laiping Zhao;Yiming Li;Françoise Fogelman-Soulié;Keqiu Li
抽象的内存数据处理框架（例如Spark）使大数据分析变得更加简单，高效。但是，与其他任务相比，散落者需要更长的时间才能大大降低性能。存在多种因素，这些因素是从硬件资源层或应用程序层，例如硬件异质性，干扰，数据局部性和数据倾斜。尽管最新的Straggler缓解技术已经提出了有关数据倾斜和数据局部性的部分解决方案，但我们在实验上证明了其他因素也可能导致严重的问题。我们提出CLIO是一种跨层干扰感知的优化系统，可以有效地减轻用于数据处理框架的散乱者。 Clio支持同时安排同时的计划并减少任务。它可以按照每个工人节点的实际计算能力成比例地访问中间数据（考虑到各种Straggler因素），以平衡以更好的方式平衡任务的完成时间。我们在Apache Spark中实现CLIO，并使用合成数据集评估其性能。实验结果表明，与现有算法相比，CLIO可以将应用程序的执行加快高达67％。
Abstract In-memory data processing frameworks (e.g., Spark) make big data analysis greatly simpler and efficient. However, stragglers that take much longer to finish than other tasks significantly degrade performance. There exist multiple factors that cause stragglers, either from the hardware resource layer or application layer, e.g. hardware heterogeneity, interference, data locality and data skew. While state-of-the-art straggler mitigation techniques have presented partial solutions on data skew and data locality, we experimentally demonstrate that the other factors can also result in serious problems. We present Clio, a cross-layer interference-aware optimization system that can effectively mitigate stragglers for data processing frameworks. Clio supports the scheduling of both map and reduce tasks. It heuristically dispatches intermediate data in proportion to the actual computing ability of each worker node, which is estimated considering various straggler factors, to balance the completion times of tasks in a much finer way. We implement Clio in Apache Spark, and evaluate its performance using both synthetic and real datasets. Experiment results show that, Clio can speed up the execution of applications by up to 67%, compared with the existing algorithms.
登录
查看更多内容
DOI：
--
发表时间：
2011-06
期刊：
--
影响因子：
--
作者：
Gunho Lee;R. Katz
通讯作者：
Gunho Lee;R. Katz
DOI：
10.1145/3274808.3274820
发表时间：
2018-11
期刊：
Proceedings of the 19th International Middleware Conference
影响因子：
--
作者：
Ran Xu;S. Mitra;Jason Rahman;Peter Bai;Bowen Zhou;G. Bronevetsky;S. Bagchi
通讯作者：
Ran Xu;S. Mitra;Jason Rahman;Peter Bai;Bowen Zhou;G. Bronevetsky;S. Bagchi
DOI：
10.1109/cloudcom.2010.25
发表时间：
2010-11
期刊：
2010 IEEE Second International Conference on Cloud Computing Technology and Science
影响因子：
--
作者：
Shadi Ibrahim;Hai Jin;Lu Lu-Lu;Song Wu;Bingsheng He;Li Qi
通讯作者：
Shadi Ibrahim;Hai Jin;Lu Lu-Lu;Song Wu;Bingsheng He;Li Qi
DOI：
10.1145/3547353.3530970
发表时间：
2022-06
期刊：
ACM SIGMETRICS Performance Evaluation Review
影响因子：
--
作者：
S. Melnik;Andrey Gubarev;Jing Jing Long-Jing;Geoffrey Romer;Shiva Shivakumar;Matt Tolton;Theo Vassilakis;Hossein Ahmadi;Daniel P. Delorey;Slava Min;Mosha Pasumansky-;J. Shute
通讯作者：
S. Melnik;Andrey Gubarev;Jing Jing Long-Jing;Geoffrey Romer;Shiva Shivakumar;Matt Tolton;Theo Vassilakis;Hossein Ahmadi;Daniel P. Delorey;Slava Min;Mosha Pasumansky-;J. Shute
DOI：
--
发表时间：
2012
期刊：
--
影响因子：
--
作者：
J. Dean
通讯作者：
J. Dean