DEBS Grand Challenge: Scalable Stateful Stream Processing for Smart Grids
DEBS Grand Challenge: Scalable Stateful Stream Processing for Smart Grids
复制标题
DEBS 重大挑战：智能电网的可扩展状态流处理
DOI：
--
复制
发表时间：
2014
期刊：
影响因子：
--
通讯作者：
P. Pietzuch
中科院分区：
文献类型：
--
作者：
R. Fernandez;M. Weidlich;P. Pietzuch
我们描述了2014年ACM Debs重大挑战赛的解决方案，该挑战赛评估基于事件的智能电网分析系统。我们的解决方案遵循有状态数据流处理的范例，并在SEEP流处理平台上实现。它通过海量数据并行处理和执行语义减负的选项实现了高可伸缩性。此外，我们的解决方案是容错的，确保流运算符的大处理状态在故障后不会丢失。我们的实验结果表明，我们的解决方案在4小时内处理了40栋房屋的1个月的数据。当我们横向扩展系统时，在系统在数据源处遇到瓶颈之前，时间会线性减少到30分钟。然后，我们应用语义减负，保持较低的预测中值误差，并将时间进一步减少到17分钟。系统以低于30毫秒的中位延迟和低于50毫秒的90%的百分位数实现了这些结果。
We describe a solution to the ACM DEBS Grand Challenge 2014, which evaluates event-based systems for smart grid analytics. Our solution follows the paradigm of stateful data stream processing and is implemented on top of the SEEP stream processing platform. It achieves high scalability by massive data-parallel processing and the option of performing semantic load-shedding. In addition, our solution is fault-tolerant, ensuring that the large processing state of stream operators is not lost after failure. Our experimental results show that our solution processes 1 month worth of data for 40 houses in 4 hours. When we scale out the system, the time reduces linearly to 30 minutes before the system bottlenecks at the data source. We then apply semantic load-shedding, maintaining a low median prediction error and reducing the time further to 17 minutes. The system achieves these results with median latencies below 30 ms and a 90th percentile below 50 ms.
DOI：
10.1145/2463676.2465282
发表时间：
2013-06
期刊：
--
影响因子：
--
作者：
R. Fernandez;Matteo Migliavacca;Evangelia Kalyvianaki;P. Pietzuch
通讯作者：
R. Fernandez;Matteo Migliavacca;Evangelia Kalyvianaki;P. Pietzuch