An Optimal Checkpointing Model with Online OCI Adjustment for Stream Processing Applications
An Optimal Checkpointing Model with Online OCI Adjustment for Stream Processing Applications
复制标题
针对流处理应用的具有在线 OCI 调整的最佳检查点模型
DOI：
10.1002/cpe.5347
复制
发表时间：
2018-07
影响因子：
2
通讯作者：
He Xubin
中科院分区：
文献类型：
--
作者：
Zhuang Yuan;Wei Xiaohui;Li Hongliang;Wang Yongfang;He Xubin
基于检查点的容错方法已被广泛用于提高分布式流处理引擎（DSPE）的可靠性，但检查点过程通常会带来相当大的开销。如何选择最优的检查点间隔（OCI）是保证处理效率的关键问题。传统的OCI模型只考虑从最后一个检查点到故障时刻的执行时间。它们不适用于流处理作业，因为恢复时间与再处理工作量有关，而再处理工作量取决于故障前的实时输入数据。需要一种新的模型来选择用于流处理应用的OCI。此外，流处理作业的输入数据速率随时间波动。应用程序的OCI也应该根据输入工作负载进行动态调整。为了解决这些问题，本文提出了一种新的DSPS最优检查点间隔（DOCI）模型。我们证明，它最大限度地提高了处理效率为一个给定的时间段。我们提出了一种方法来动态调整OCI的应用程序，以适应实时工作负载的波动。通过仿真实验验证了DOCI模型的有效性和OCI在线调整算法的有效性。实验结果表明，与现有的容错方法相比，DOCI实现了高达40%的系统效率的提高。
Checkpoint-based fault tolerant method has been widely used to enhance the reliability of Distributed Stream Processing Engines (DSPEs), but a checkpointing process usually introduces considerable overhead. It is a critical issue to choose the Optimal Checkpoint Interval (OCI) that maximizes the processing efficiency. Traditional OCI models consider the recovery time only related to the execution time from the last checkpoint to the moment of the failure. They are not suitable for stream processing jobs because the recovery time is related to the reprocessing workload, which depends on the realtime input data before a failure. A new model is needed to choose the OCI for stream processing applications. Moreover, the input data rate of an stream processing job fluctuates over time. The OCI of an application should also be adjusted dynamically according to the input workload. To solve these problems, we present a novel DSPS Optimal Checkpoint Interval (DOCI) model in this paper. We prove that it maximizes the processing efficiency for a given time period. We propose an approach to dynamically adjust the OCI for an application to accommodate the realtime workload fluctuations. We conduct simulation experiments to verify the effectiveness of DOCI model and the efficiency of the online OCI adjustment algorithm. Experimental results with a real-world dataset show DOCI achieves an improvement on system efficiency by up to 40%, comparing with existing fault-tolerant approaches.
登录
查看更多内容
DOI：
--
发表时间：
2010
期刊：
--
影响因子：
--
作者：
M. Shastry;K. Venkatesh;M. Ramaiah
通讯作者：
M. Shastry;K. Venkatesh;M. Ramaiah
DOI：
10.1145/361147.361115
发表时间：
1974-09
期刊：
Commun. ACM
影响因子：
--
作者：
J. W. Young
通讯作者：
J. W. Young
DOI：
10.1007/978-3-642-14390-8_22
发表时间：
2009-09
期刊：
--
影响因子：
--
作者：
M. Bouguerra;T. Gautier;D. Trystram;J. Vincent
通讯作者：
M. Bouguerra;T. Gautier;D. Trystram;J. Vincent
DOI：
--
发表时间：
2018-07
期刊：
--
影响因子：
--
作者：
Gennady Pekhimenko;Chuanxiong Guo;Myeongjae Jeon;Peng Huang;Lidong Zhou
通讯作者：
Gennady Pekhimenko;Chuanxiong Guo;Myeongjae Jeon;Peng Huang;Lidong Zhou
DOI：
10.1109/msst.2007.24
发表时间：
2007-09
期刊：
24th IEEE Conference on Mass Storage Systems and Technologies (MSST 2007)
影响因子：
--
作者：
R. Oldfield;Sarala Arunagiri;P. Teller;Seetharami R. Seelam;Maria Ruiz Varela;R. Riesen;P. Roth
通讯作者：
R. Oldfield;Sarala Arunagiri;P. Teller;Seetharami R. Seelam;Maria Ruiz Varela;R. Riesen;P. Roth