StreamQRE: modular specification and efficient evaluation of quantitative queries over streaming data
StreamQRE: modular specification and efficient evaluation of quantitative queries over streaming data
复制标题
StreamQRE：流数据定量查询的模块化规范和高效评估
DOI：
10.1145/3062341.3062369
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Khanna, Sanjeev
中科院分区：
文献类型：
--
作者：
Mamouras, Konstantinos;Raghothaman, Mukund;Alur, Rajeev;Ives, Zachary G.;Khanna, Sanjeev
新兴物联网应用中的实时决策通常依赖于以高效和增量的方式计算大型数据流的定量摘要。为了简化编程所需逻辑的任务，我们提出了StreamQRE，它提供了自然和高层次的结构来处理流数据。我们的语言有一个新的整合语言结构从两个不同的编程范式：关系查询语言的流扩展和正则表达式的定量扩展。前者允许程序员采用关系结构划分输入数据的关键字和集成来自不同来源的数据流，而后者可以用来利用逻辑层次结构的输入流模块化specification.We首先提出了一个小的组合子，形式语义，和一个可判定的类型系统的核心语言。然后，我们展示了如何表达一些常见的模式与说明性的例子。我们的编译算法将高级别的查询转换成一个流算法，精确的复杂性边界上的每项处理时间和总内存占用。我们还展示了如何将近似算法集成到我们的框架中。我们报告在Java中的实现，并评估它与现有的高性能引擎处理流数据。我们的实验评估表明，（1）StreamQRE允许更自然和简洁的查询规范相比，现有的框架，（2）我们的实现的吞吐量高于可比系统（例如，两到四倍大于RxJava），（3）我们的实现支持的近似算法可以导致大量的内存节省。
Real-time decision making in emerging IoT applications typically relies on computing quantitative summaries of large data streams in an efficient and incremental manner. To simplify the task of programming the desired logic, we propose StreamQRE, which provides natural and high-level constructs for processing streaming data. Our language has a novel integration of linguistic constructs from two distinct programming paradigms: streaming extensions of relational query languages and quantitative extensions of regular expressions. The former allows the programmer to employ relational constructs to partition the input data by keys and to integrate data streams from different sources, while the latter can be used to exploit the logical hierarchy in the input stream for modular specifications.We first present the core language with a small set of combinators, formal semantics, and a decidable type system. We then show how to express a number of common patterns with illustrative examples. Our compilation algorithm translates the high-level query into a streaming algorithm with precise complexity bounds on per-item processing time and total memory footprint. We also show how to integrate approximation algorithms into our framework. We report on an implementation in Java, and evaluate it with respect to existing high-performance engines for processing streaming data. Our experimental evaluation shows that (1) StreamQRE allows more natural and succinct specification of queries compared to existing frameworks, (2) the throughput of our implementation is higher than comparable systems (for example, two-to-four times greater than RxJava), and (3) the approximation algorithms supported by our implementation can lead to substantial memory savings.
登录
查看更多内容
影响因子：
0.8
作者：
Margus Veanes;Pieter Hooimeijer;B. Livshits;D. Molnar;Nikolaj S. Bjørner
通讯作者：
Margus Veanes;Pieter Hooimeijer;B. Livshits;D. Molnar;Nikolaj S. Bjørner
眼睛护理 12 角膜塑形术初学者问答
DOI：
--
发表时间：
2010
期刊：
影响因子：
--
作者：
平岡孝浩(大橋裕一;編);平岡孝浩;平岡孝浩;平岡孝浩;平岡孝浩
通讯作者：
平岡孝浩
使用电子表格进行流处理
DOI：
--
发表时间：
2014
期刊：
European Conference on Object-Oriented Programming
影响因子：
--
作者：
M. Vaziri;O. Tardieu;Rodric M. Rabbah;Philippe Suter;Martin Hirzel
通讯作者：
Martin Hirzel
Kleenex：将非确定性传感器编译为确定性流传感器
DOI：
10.1145/2837614.2837647
发表时间：
2016
期刊：
Proceedings of the 43rd Annual ACM SIGPLAN-SIGACT Symposium on Principles of Programming Languages
影响因子：
--
作者：
Niels Bjørn Bugge Grathwohl;F. Henglein;U. Rasmussen;Kristoffer Aalund Søholm;Sebastian Paaske Tørholm
通讯作者：
Sebastian Paaske Tørholm
影响因子：
4.2
作者：
Arasu, A;Babu, S;Widom, J
通讯作者：
Widom, J