A Configuration Management Study to Fast Massive Writing for Distributed NoSQL System
A Configuration Management Study to Fast Massive Writing for Distributed NoSQL System
复制标题
分布式NoSQL系统快速海量写入的配置管理研究
DOI：
10.1587/transinf.2016edp7104
复制
发表时间：
2016-09
影响因子：
0.7
通讯作者：
Zhiguang Chen
中科院分区：
文献类型：
--
作者：
Xianqiang Bao;Nong Xiao;Yutong Lu;Zhiguang Chen
NoSQL系统由于其高度的横向可伸缩性，已成为交付大数据服务的重要组件。然而，现有的NoSQL系统依赖经验丰富的管理员来配置和调优各种可配置参数以优化性能。在这项工作中，我们提出了一个用于NoSQL系统的配置管理框架，称为xConfig.使用xConfig，其用户可以首先识别对性能敏感的参数，并捕获针对不同工作负载的调优参数作为配置策略。接下来，可以根据调整后的策略，将xConfig实现为针对具体NoSQL系统的相应配置优化系统。此外，它还可以用于分析可能影响NoSQL系统运行时性能的可配置参数范围。我们实现了一个基于HBase的原型系统HConfig，其参数调整策略可以生成优化的策略，使HBase在单个工作节点和整个集群上都能更高效地运行。大量面向写入的评估结果表明，在写入密集型策略下，HBase的性能优于默认配置和一些现有配置，同时提供了显著更高的吞吐量。关键词：配置管理、优化、海量写入、HBase、NoSQL
NoSQL systems have become vital components to deliver big data services due to their high horizontal scalability. However, existing NoSQL systems rely on experienced administrators to configure and tune the wide range of configurable parameters for optimized performance. In this work, we present a configuration management framework for NoSQL systems, called xConfig. With xConfig, its users can first identify performance sensitive parameters and capture the tuned parameters for different workloads as configuration policies. Next, based on tuned policies, xConfig can be implemented as the corresponding configuration optimiaztion system for the specific NoSQL system. Also it can be used to analyze the range of configurable parameters that may impact the runtime performance of NoSQL systems. We implement a prototype called HConfig based on HBase, and the parameter tuning strategies for HConfig can generate tuned policies and enable HBase to run much more efficiently on both individual worker node and entire cluster. The massive writing oriented evaluation results show that HBase under write-intensive policies outperforms both the default configuration and some existing configurations while offering significantly higher throughput. key words: configuration management, optimization, massive writing, HBase, NoSQL
登录
查看更多内容
DOI：
10.1145/2254756.2254766
发表时间：
2012-06
期刊：
--
影响因子：
--
作者：
Berk Atikoglu;Yuehai Xu;E. Frachtenberg;Song Jiang;Mike Paleczny
通讯作者：
Berk Atikoglu;Yuehai Xu;E. Frachtenberg;Song Jiang;Mike Paleczny
DOI：
10.1145/1294261.1294281
发表时间：
2007-10
期刊：
EAI Endorsed Trans. Scalable Inf. Syst.
影响因子：
--
作者：
Giuseppe DeCandia;D. Hastorun;M. Jampani;G. Kakulapati;A. Lakshman;A. Pilchin;S. Sivasubramanian
通讯作者：
Giuseppe DeCandia;D. Hastorun;M. Jampani;G. Kakulapati;A. Lakshman;A. Pilchin;S. Sivasubramanian
DOI：
10.14778/1454159.1454167
发表时间：
2008-08
期刊：
Proc. VLDB Endow.
影响因子：
--
作者：
Brian F. Cooper;R. Ramakrishnan;U. Srivastava;Adam Silberstein;Philip Bohannon;H. Jacobsen;Nick Puz
通讯作者：
Brian F. Cooper;R. Ramakrishnan;U. Srivastava;Adam Silberstein;Philip Bohannon;H. Jacobsen;Nick Puz
DOI：
10.1145/1583991.1584009
发表时间：
2009-08
期刊：
--
影响因子：
--
作者：
A. Lakshman;Prashant Malik
通讯作者：
A. Lakshman;Prashant Malik
DOI：
10.1145/1463788.1463792
发表时间：
2008-10
期刊：
--
影响因子：
--
作者：
D. Wiese;G. Rabinovitch;Michael Reichert;Stephan Arenswald
通讯作者：
D. Wiese;G. Rabinovitch;Michael Reichert;Stephan Arenswald