A Survey of Flaky Tests
A Survey of Flaky Tests
复制标题
片状测试调查
DOI：
10.1145/3476105
复制
发表时间：
2021
影响因子：
4.4
通讯作者：
Parry O
中科院分区：
文献类型：
--
作者：
Parry O
不一致地失败的测试，没有改变被测代码，被描述为测试。不完整的测试不能给出软件缺陷存在的明确指示，因此限制了包含它们的测试套件的可靠性。最近一项针对软件开发人员的调查发现，59%的开发人员声称每月、每周或每天都要进行一次测试。除了对开发人员不利之外，测试还被证明限制了软件测试研究中有用技术的适用性。一般来说，我们可以把重复测试看作是对任何假设测试结果只取决于它所覆盖的源代码的方法的有效性的威胁。本文系统地回顾了国内外有关可重构测试研究的文献，共计76篇。我们将我们的分析分为四个部分：解决故障测试的原因，其成本和后果，检测策略，以及缓解和修复的方法。我们的研究结果和它们的影响有后果的软件测试社区如何处理测试片状，相关的从业者和感兴趣的那些想要熟悉的研究领域。
Tests that fail inconsistently, without changes to the code under test, are described asflaky. Flaky tests do not give a clear indication of the presence of software bugs and thus limit the reliability of the test suites that contain them. A recent survey of software developers found that 59% claimed to deal with flaky tests on a monthly, weekly, or daily basis. As well as being detrimental to developers, flaky tests have also been shown to limit the applicability of useful techniques in software testing research. In general, one can think of flaky tests as being a threat to the validity of any methodology that assumes the outcome of a test only depends on the source code it covers. In this article, we systematically survey the body of literature relevant to flaky test research, amounting to 76 papers. We split our analysis into four parts: addressing the causes of flaky tests, their costs and consequences, detection strategies, and approaches for their mitigation and repair. Our findings and their implications have consequences for how the software-testing community deals with test flakiness, pertinent to practitioners and of interest to those wanting to familiarize themselves with the research area.
登录
查看更多内容
根本原因、检测和修复片状测试：最先进的技术和未来的路线图
DOI：
--
发表时间：
2020
期刊：
Software, Practice & Experience
影响因子：
--
作者：
B. Zolfaghari;R. Parizi;Gautam Srivastava;Yoseph Hailemariam
通讯作者：
Yoseph Hailemariam
影响因子：
--
作者：
Wing Lam;Stefan Winter;Anjiang Wei;Tao Xie;D. Marinov;Jonathan Bell
通讯作者：
Wing Lam;Stefan Winter;Anjiang Wei;Tao Xie;D. Marinov;Jonathan Bell
影响因子：
3.9
作者：
R. Verdecchia;Emilio Cruciani;Breno Miranda;A. Bertolino
通讯作者：
R. Verdecchia;Emilio Cruciani;Breno Miranda;A. Bertolino
撤回的文章：恐惧的气味：关于测试气味和片状测试之间的关系
影响因子：
4.1
作者：
Fabio Palomba;A. Zaidman
通讯作者：
A. Zaidman
影响因子：
3.5
作者：
Garousi, Vahid;Kucuk, Baris
通讯作者：
Kucuk, Baris