On the performance and convergence of distributed stream processing via approximate fault tolerance
On the performance and convergence of distributed stream processing via approximate fault tolerance
复制标题
基于近似容错的分布式流处理的性能和收敛性
DOI：
10.1007/s00778-019-00565-w
复制
发表时间：
2018-11
期刊：
影响因子：
4.2
通讯作者：
Patrick P. C. Lee
中科院分区：
文献类型：
--
作者：
Zhinan Cheng;Qun Huang;Patrick P. C. Lee
容错对于分布式流处理系统是至关重要的，然而实现无错误的容错往往会导致大量的性能开销。我们presentAF-Stream，分布式流处理系统，解决了性能和容错精度之间的权衡。AF-Stream建立在一个称为近似容错的概念上，其思想是通过自适应地发布备份来减轻备份开销，同时确保故障时的错误与理论保证有界。具体来说，AF-Stream允许用户指定状态分歧和非备份流项目丢失的界限。它仅在达到界限时发出状态和项备份。我们的AF流设计提供了一个可扩展的编程模型，将一般的流算法，以及出口只有几个阈值参数配置近似容错。此外，我们正式证明了AF流保留了流算法的高算法特定精度，特别是在线学习的收敛保证。实验表明，AF-Stream在各种流算法下保持高性能（与无容错相比）和多次故障后（与无故障相比）的高准确性。
Fault tolerance is critical for distributed stream processing systems, yet achieving error-free fault tolerance often incurs substantial performance overhead. We presentAF-Stream, a distributed stream processing system that addresses the trade-off between performance and accuracy in fault tolerance. AF-Stream builds on a notion calledapproximate fault tolerance, whose idea is to mitigate backup overhead by adaptively issuing backups, while ensuring that the errors upon failures are bounded with theoretical guarantees. Specifically, AF-Stream allows users to specify bounds on both the state divergence and the loss of non-backup streaming items. It issues state and item backups only when the bounds are reached. Our AF-Stream design provides an extensible programming model for incorporating general streaming algorithms as well as exports only few threshold parameters for configuring approximation fault tolerance. Furthermore, we formally prove that AF-Stream preserves high algorithm-specific accuracy of streaming algorithms, and in particular the convergence guarantees of online learning. Experiments show that AF-Stream maintains high performance (compared to no fault tolerance) and high accuracy after multiple failures (compared to no failures) under various streaming algorithms.
登录
查看更多内容
DOI：
--
发表时间：
2013-04
期刊：
--
影响因子：
--
作者：
Minlan Yu;Lavanya Jose;Rui Miao
通讯作者：
Minlan Yu;Lavanya Jose;Rui Miao
DOI：
10.1145/564691.564721
发表时间：
2002-06
期刊：
--
影响因子：
--
作者：
Gang Luo;Curt J. Ellmann;P. Haas;J. Naughton
通讯作者：
Gang Luo;Curt J. Ellmann;P. Haas;J. Naughton
DOI：
10.1145/1007568.1007662
发表时间：
2004-06
期刊：
--
影响因子：
--
作者：
Mehul A. Shah;J. Hellerstein;E. Brewer
通讯作者：
Mehul A. Shah;J. Hellerstein;E. Brewer
DOI：
10.1007/978-3-540-75225-7_17
发表时间：
2007-10
期刊：
--
影响因子：
--
作者：
Steven Busuttil;Yuri Kalnishkan
通讯作者：
Steven Busuttil;Yuri Kalnishkan
DOI：
--
发表时间：
2015-05
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Xiangrui Meng;Joseph K. Bradley;Burak Yavuz;Evan R. Sparks;S. Venkataraman;Davies Liu;Jeremy Freeman-Jeremy-Free
通讯作者：
Xiangrui Meng;Joseph K. Bradley;Burak Yavuz;Evan R. Sparks;S. Venkataraman;Davies Liu;Jeremy Freeman-Jeremy-Free