Raven: Accelerating Execution of Iterative Data Analytics by Reusing Results of Previous Equivalent Versions
Raven: Accelerating Execution of Iterative Data Analytics by Reusing Results of Previous Equivalent Versions
复制标题
Raven：通过重用先前等效版本的结果来加速迭代数据分析的执行
DOI：
10.1145/3597465.3605219
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Li, Chen
中科院分区：
文献类型：
--
作者：
Alsudais, Sadeem;Kumar, Avinash;Li, Chen
使用基于 GUI 的工作流程进行数据分析是一个迭代过程。在每次迭代期间，分析师都会对工作流程进行更改以改进它，每次都会生成新版本。执行这些版本产生的结果被具体化，以帮助用户将来参考它们。在许多情况下，新版本的工作流在提交执行时会产生与前一版本相同的结果。识别这种等价性可以通过重用具体化结果来节省计算资源和时间。优化执行新版本性能的一种方法是将当前版本与先前版本进行比较，并使用工作流版本等效验证器测试它们是否产生相同的结果。随着版本数量的增加，此测试可能成为计算瓶颈。在本文中，我们提出了 Raven，这是一个优化框架，通过在版本等效验证器的帮助下检测和重用先前等效版本的结果来加速新版本请求的执行。 Raven 对先前版本集进行排名和修剪，以快速识别那些可能产生与版本执行请求等效的结果的版本。另外，当验证者执行计算来验证版本对的等价性时，可能与先前测试的版本对存在显着重叠。 Raven 通过扩展验证器以重用先前的等价测试知识来识别并避免此类重复计算。我们与真实工作流程和数据集的基线相比，评估了 Raven 的有效性。
Using GUI-based workflows for data analysis is an iterative process. During each iteration, an analyst makes changes to the workflow to improve it, generating a new version each time. The results produced by executing these versions are materialized to help users refer to them in the future. In many cases, a new version of the workflow, when submitted for execution, produces a result equivalent to that of a previous one. Identifying such equivalence can save computational resources and time by reusing the materialized result. One way to optimize the performance of executing a new version is to compare the current version with a previous one and test if they produce the same results using a workflow version equivalence verifier. As the number of versions grows, this testing can become a computational bottleneck. In this paper, we present Raven, an optimization framework to accelerate the execution of a new version request by detecting and reusing the results of previous equivalent versions with the help of a version equivalence verifier. Raven ranks and prunes the set of prior versions to quickly identify those that may produce an equivalent result to the version execution request. Additionally, when the verifier performs computation to verify the equivalence of a version pair, there may be a significant overlap with previously tested version pairs. Raven identifies and avoids such repeated computations by extending the verifier to reuse previous knowledge of equivalence tests. We evaluated the effectiveness of Raven compared to baselines on real workflows and datasets.
登录
查看更多内容
验证 Spark 程序的等效性
影响因子：
2.5
作者：
Shelly Grossman;Sara Cohen;Shachar Itzhaky;N. Rinetzky;Shmuel Sagiv
通讯作者：
Shmuel Sagiv
SPES：一种在包语义下证明查询等价性的符号方法
DOI：
--
发表时间：
2022
期刊：
Proceedings International Conference on Data Engineering
影响因子：
--
作者：
Q. Zhou, J. Arulraj
通讯作者：
Q. Zhou, J. Arulraj
琥珀色
影响因子：
2.5
作者：
Avinash Kumar;Zuozhi Wang;Shengquan Ni;Chen Li
通讯作者：
Chen Li
ROBUS：数据并行工作负载的公平缓存分配
DOI：
--
发表时间：
2015
期刊：
SIGMOD Conference
影响因子：
--
作者：
Mayuresh Kunjir;Brandon Fain;Kamesh Munagala;S. Babu
通讯作者：
S. Babu
DOI：
--
发表时间：
2022
期刊：
SIGMOD Conference
影响因子：
--
作者：
Behrouz Derakhshan;Alireza Rezaei Mahdiraji;Zoi Kaoudi;T. Rabl;V. Markl
通讯作者：
V. Markl