Load Shedding for Complex Event Processing: Input-based and State-based Techniques
Load Shedding for Complex Event Processing: Input-based and State-based Techniques
复制标题
复杂事件处理的减载：基于输入和基于状态的技术
DOI：
10.1109/icde48307.2020.00099
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Matthias Weidlich
中科院分区：
文献类型：
--
作者：
Bo Zhao;Nguyen Quoc Viet Hung;Matthias Weidlich
评估事件流上的查询的复杂事件处理(CEP)系统可能面临不可预测的输入速率和查询选择性。在短高峰期间，穷举处理不再合理，甚至不可行，系统应求助于尽力而为的查询评估，并在保持在延迟范围内的同时努力获得最佳结果质量。在传统的数据流处理中，这是通过减负来实现的，即丢弃一些流元素，而不基于它们对查询结果的估计效用来处理它们。我们认为，这种基于输入的负载减轻并不总是适合CEP查询。它假定可以单独评估流的每个单独元素的效用。然而，对于CEP查询，该实用程序可能是高度动态的：根据部分匹配的存在，丢弃单个事件的影响可能会有很大的不同。因此，在这项工作中，我们使用基于状态的技术来补充基于输入的负载减轻，该技术丢弃了部分匹配。我们引入了一种混合模型，该模型结合了基于输入和基于状态的分离，以在资源受限的情况下获得高质量的结果。我们的实验表明，与基准方法相比，这种混合剥离方法将合成数据的召回率提高了14倍，将真实数据的召回率提高了11.4倍。
Complex event processing (CEP) systems that evaluate queries over streams of events may face unpredictable input rates and query selectivities. During short peak times, exhaustive processing is then no longer reasonable, or even infeasible, and systems shall resort to best-effort query evaluation and strive for optimal result quality while staying within a latency bound. In traditional data stream processing, this is achieved by load shedding that discards some stream elements without processing them based on their estimated utility for the query result. We argue that such input-based load shedding is not always suitable for CEP queries. It assumes that the utility of each individual element of a stream can be assessed in isolation. For CEP queries, however, this utility may be highly dynamic: Depending on the presence of partial matches, the impact of discarding a single event can vary drastically. In this work, we therefore complement input-based load shedding with a state-based technique that discards partial matches. We introduce a hybrid model that combines both input-based and state-based shedding to achieve high result quality under constrained resources. Our experiments indicate that such hybrid shedding improves the recall by up to 14× for synthetic data and 11.4× for real-world data, compared to baseline approaches.
登录
查看更多内容
DOI：
--
发表时间：
2012
期刊：
International Conference on Extending Database Technology
影响因子：
--
作者：
Kia Teymourian;M. Rohde;A. Paschke
通讯作者：
A. Paschke
eSPICE：复杂事件处理中输入事件流的概率减载
DOI：
--
发表时间：
2019
期刊：
International Middleware Conference
影响因子：
--
作者：
Ahmad Slo;Sukanya Bhowmik;K. Rothermel
通讯作者：
K. Rothermel
使用业务流程模型优化事件模式匹配
影响因子：
8.9
作者：
M. Weidlich;H. Ziekow;A. Gal;J. Mendling;M. Weske
通讯作者：
M. Weske
DEBS 重大挑战：智能电网的可扩展状态流处理
DOI：
--
发表时间：
2014
期刊：
影响因子：
--
作者：
R. Fernandez;M. Weidlich;P. Pietzuch
通讯作者：
P. Pietzuch
DOI：
10.1136/ebmh.11.4.102
发表时间：
2008-10
期刊：
Evidence Based Mental Health
影响因子：
--
作者：
P. Cochat;L. Vaucoret;J. Sarles
通讯作者：
P. Cochat;L. Vaucoret;J. Sarles