Dynamically reconfiguring software microbenchmarks: reducing execution time without sacrificing result quality
Dynamically reconfiguring software microbenchmarks: reducing execution time without sacrificing result quality
复制标题
动态重新配置软件微基准：在不牺牲结果质量的情况下减少执行时间
DOI：
10.1145/3368089.3409683
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
P. Leitner
中科院分区：
文献类型：
--
作者：
Christoph Laaber;Stefan Würsten;H. Gall;P. Leitner
执行软件微基准测试是一种主要用于库和框架的小规模性能测试形式，是一项成本高昂的工作。完整的基准测试套件需要长达数小时或数天的时间来执行，导致频繁的检查（例如作为持续集成（CI）的一部分）不可行。然而，改变基准配置以减少执行时间而不考虑对结果质量的影响可能会导致基准测试结果不能代表软件的真实性能。我们提出了第一种技术，当结果足够稳定时动态停止软件微基准测试执行。我们的方法实现了三个统计停止标准，并且能够将 Java Microbenchmark Harness (JMH) 套件的执行时间减少 48.4% 到 86.0%。同时，与在默认持续时间内执行该套件相比，它在 78.8% 至 87.6% 的基准测试中保持了相同的结果质量。所提出的方法不需要开发人员手动制作自定义基准配置；相反，它提供了动态重新配置的自动化机制。因此，使动态重新配置变得非常有效和高效，可能为将 JMH 微基准纳入 CI 中铺平道路。
Executing software microbenchmarks, a form of small-scale performance tests predominantly used for libraries and frameworks, is a costly endeavor. Full benchmark suites take up to multiple hours or days to execute, rendering frequent checks, e.g., as part of continuous integration (CI), infeasible. However, altering benchmark configurations to reduce execution time without considering the impact on result quality can lead to benchmark results that are not representative of the software’s true performance. We propose the first technique to dynamically stop software microbenchmark executions when their results are sufficiently stable. Our approach implements three statistical stoppage criteria and is capable of reducing Java Microbenchmark Harness (JMH) suite execution times by 48.4% to 86.0%. At the same time it retains the same result quality for 78.8% to 87.6% of the benchmarks, compared to executing the suite for the default duration. The proposed approach does not require developers to manually craft custom benchmark configurations; instead, it provides automated mechanisms for dynamic reconfiguration. Hence, making dynamic reconfiguration highly effective and efficient, potentially paving the way to inclusion of JMH microbenchmarks in CI.
DOI：
--
发表时间：
2012
期刊：
--
影响因子：
--
作者：
Kalibera, T
通讯作者：
Kalibera, T
影响因子：
1.1
作者：
Araújo-Filho, Irami;Rêgo, Amália Cínthia Meneses;Medeiros, Aldo Cunha
通讯作者：
Medeiros, Aldo Cunha