Garbage collection auto-tuning for Java mapreduce on multi-cores
Garbage collection auto-tuning for Java mapreduce on multi-cores
复制标题
多核上 Java MapReduce 的垃圾收集自动调优
DOI：
10.1145/2076022.1993495
复制
发表时间：
2011
影响因子：
--
通讯作者：
Singer J
中科院分区：
文献类型：
--
作者：
Singer J
MapReduce 作为一种简单的编程模式已被广泛接受，可以构成高效、大规模、分布式数据处理的基础。 MapReduce 模式的成功导致了针对不同计算场景的多种实现。在本文中，我们介绍了 MRJ，一个用于多核架构的 MapReduce Java 框架。我们使用一组标准 MapReduce 基准测试在四核超线程 Intel Core i7 处理器上评估其可扩展性。我们研究了 Java 运行时垃圾收集对 MRJ 的性能和可扩展性的重大影响。我们建议使用基于机器学习的内存管理自动调整技术。通过我们的自动调整方法，我们能够在 75% 的基准测试中实现 MRJ 性能与最佳性能相差 10% 的范围内。
MapReduce has been widely accepted as a simple programming pattern that can form the basis for efficient, large-scale, distributed data processing. The success of the MapReduce pattern has led to a variety of implementations for different computational scenarios. In this paper we presentMRJ, a MapReduce Java framework for multi-core architectures. We evaluate its scalability on a four-core, hyperthreaded Intel Core i7 processor, using a set of standard MapReduce benchmarks. We investigate the significant impact that Java runtime garbage collection has on the performance and scalability of MRJ. We propose the use of memory management auto-tuning techniques based on machine learning. With our auto-tuning approach, we are able to achieve MRJ performance within 10% of optimal on 75% of our benchmark tests.
登录
查看更多内容
7维欧几里得空间中等角线族数目的对称性
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
Tsuchikawa T.;Kaneda H.;Oyabu S.;Kokusho T.;Kobayashi H.;Yamagishi M.;Toba Y.;Kiyoto Yoshino
通讯作者：
Kiyoto Yoshino
DOI：
--
发表时间：
2009
期刊：
OPSR
影响因子：
--
作者：
Xipeng Shen;Feng Mao;Kai Tian;E. Zhang
通讯作者：
E. Zhang
动态选择特定于应用程序的垃圾收集器
DOI：
--
发表时间：
2004
期刊：
International Symposium on Mathematical Morphology and Its Application to Signal and Image Processing
影响因子：
--
作者：
Sunil Soman;C. Krintz;D. F. Bacon
通讯作者：
D. F. Bacon
在线相位自适应数据布局选择
DOI：
10.1007/978-3-540-70592-5_14
发表时间：
2008
期刊：
LNCS Trans. Aspect Oriented Softw. Dev.
影响因子：
--
作者：
Chengliang Zhang;Martin Hirzel
通讯作者：
Martin Hirzel
了解当代 CMP 上的 PARSEC 性能
DOI：
10.1109/iiswc.2009.5306793
发表时间：
2009
期刊：
2009 IEEE International Symposium on Workload Characterization (IISWC)
影响因子：
--
作者：
M. Bhadauria;Vincent M. Weaver;S. Mckee
通讯作者：
S. Mckee