Duet Benchmarking: Improving Measurement Accuracy in the Cloud
Duet Benchmarking: Improving Measurement Accuracy in the Cloud
复制标题
Duet 基准测试：提高云中的测量精度
DOI：
10.1145/3358960.3379132
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Aleksandar Prokopec
中科院分区：
文献类型：
--
作者：
L. Bulej;Vojtech Horký;P. Tůma;François Farquet;Aleksandar Prokopec
我们调查的二重奏测量程序，这有助于提高性能比较实验的准确性，通过并行执行测量的工件，并评估其相对性能在一起，而不是单独的共享机器上进行。具体来说，我们分析了在多个云环境中的程序的行为，并使用实验证据来回答多个研究问题的假设基础的程序。我们展示了测试的ScalaBench（和DaCapo）工作负载的准确度提高了2.3倍到12.5倍（平均5.03倍），SPEC CPU 2017工作负载的准确度提高了23.8倍到82.4倍（平均37.4倍）。
We investigate the duet measurement procedure, which helps improve the accuracy of performance comparison experiments conducted on shared machines by executing the measured artifacts in parallel and evaluating their relative performance together, rather than individually. Specifically, we analyze the behavior of the procedure in multiple cloud environments and use experimental evidence to answer multiple research questions concerning the assumption underlying the procedure. We demonstrate improvements in accuracy ranging from 2.3x to 12.5x (5.03x on average) for the tested ScalaBench (and DaCapo) workloads, and from 23.8x to 82.4x (37.4x on average) for the SPEC CPU 2017 workloads.
软件开发过程中自动隔离性能回归的根本原因
DOI：
10.1145/2479871.2479879
发表时间：
2013
期刊：
影响因子：
--
作者：
Christoph Heger;Jens Happe;Roozbeh Farahbod
通讯作者：
Roozbeh Farahbod
影响因子：
1.1
作者：
Araújo-Filho, Irami;Rêgo, Amália Cínthia Meneses;Medeiros, Aldo Cunha
通讯作者：
Medeiros, Aldo Cunha