Scalable stateful stream processing for smart grids
Scalable stateful stream processing for smart grids
复制标题
智能电网的可扩展状态流处理
DOI：
10.1145/2611286.2611326
复制
发表时间：
2014
期刊：
影响因子：
--
通讯作者：
Fernandez R
中科院分区：
文献类型：
--
作者：
Fernandez R
我们描述了 ACM DEBS Grand Challenge 2014 的解决方案，该解决方案评估用于智能电网分析的基于事件的系统。我们的解决方案遵循有状态数据流处理的范例，并在 SEEP 流处理平台之上实施。它通过大规模数据并行处理和执行语义负载卸载的选项实现了高可扩展性。此外，我们的解决方案具有容错能力，确保流算子的大处理状态在发生故障后不会丢失。我们的实验结果表明，我们的解决方案在 4 小时内处理了 40 个房屋 1 个月的数据。当我们对系统进行横向扩展时，时间线性减少到30分钟，系统在数据源处出现瓶颈。然后，我们应用语义减载，保持较低的中值预测误差，并将时间进一步缩短至 17 分钟。该系统实现了这些结果，中位延迟低于 30 毫秒，90% 的延迟低于 50 毫秒。
We describe a solution to the ACM DEBS Grand Challenge 2014, which evaluates event-based systems for smart grid analytics. Our solution follows the paradigm ofstateful data stream processingand is implemented on top of theSEEPstream processing platform. It achieves high scalability by massive data-parallel processing and the option of performing semantic load-shedding. In addition, our solution is fault-tolerant, ensuring that the large processing state of stream operators is not lost after failure.Our experimental results show that our solution processes 1 month worth of data for 40 houses in 4 hours. When we scale out the system, the time reduces linearly to 30 minutes before the system bottlenecks at the data source. We then apply semantic load-shedding, maintaining a low median prediction error and reducing the time further to 17 minutes. The system achieves these results with median latencies below 30 ms and a 90thpercentile below 50 ms.