Input and Output Coverage Needed in File System Testing
Input and Output Coverage Needed in File System Testing
复制标题
文件系统测试所需的输入和输出覆盖率
DOI：
10.1145/3599691.3603405
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Zadok, Erez
中科院分区：
文献类型：
--
作者：
Liu, Yifei;Ahuja, Gautam;Kuenning, Geoff;Smolka, Scott;Zadok, Erez
文件系统需要测试来发现错误并帮助确保可靠性。许多文件系统测试工具都是根据代码覆盖率进行评估的。我们分析了Ext4和BtrFS中最近报告的错误，发现代码覆盖率和测试有效性之间的相关性很弱：许多错误被遗漏，因为它们依赖于特定的输入，即使代码被测试套件覆盖。我们的立场是，系统调用输入和输出的覆盖率对于测试文件系统至关重要。因此，我们将输入和输出覆盖率作为文件系统测试的标准，并展示了它们如何提高测试的有效性。我们构建了一个名为IOCov的原型来评估文件系统测试工具的输入和输出覆盖率。IOCov为CrashMonkey和xfstest确定了许多未经测试的情况（特定的输入和输出或范围）。此外，我们还讨论了一种方法和相关的指标，以确定使用IOCov的过度测试和测试不足。
File systems need testing to discover bugs and to help ensure reliability. Many file system testing tools are evaluated based on their code coverage. We analyzed recently reported bugs in Ext4 and BtrFS and found a weak correlation between code coverage and test effectiveness: many bugs are missed because they depend on specific inputs, even though the code was covered by a test suite. Our position is that coverage of system call inputs and outputs is critically important for testing file systems. We thus suggestinput and output coverageas criteria for file system testing, and show how they can improve the effectiveness of testing. We built a prototype called IOCov to evaluate the input and output coverage of file system testing tools. IOCov identified many untested cases (specific inputs and outputs or ranges thereof) for both CrashMonkey and xfstests. Additionally, we discuss a method and associated metrics to identify over- and under-testing using IOCov.
登录
查看更多内容
文件系统开发的模型检查支持
DOI：
10.1145/3465332.3470878
发表时间：
2021
期刊：
Proceedings of the USENIX Workshop on Hot Topics in Storage and File Systems
影响因子：
--
作者：
Su, Wei;Liu, Yifei;Ganesan, Gomathi;Holzmann, Gerard;Smolka, Scott;Zadok, Erez;Kuenning, Geoff
通讯作者：
Kuenning, Geoff
通过崩溃优化对文件系统进行一键式验证
DOI：
--
发表时间：
2016
期刊：
USENIX Annual Technical Conference
影响因子：
--
作者：
Helgi Sigurbjarnarson;James Bornholt;Nicolas Christin;L. Cranor
通讯作者：
L. Cranor
DOI：
--
发表时间：
2005
期刊：
--
影响因子：
--
作者：
M. Rajagopalan;S. Debray;M. Hiltunen;R. Schlichting
通讯作者：
M. Rajagopalan;S. Debray;M. Hiltunen;R. Schlichting
带 CMC 的模型检查系统软件
DOI：
10.1145/1133373.1133418
发表时间：
2002
期刊：
2013 10th Working Conference on Mining Software Repositories (MSR)
影响因子：
--
作者：
M. Musuvathi;Andy Chou;D. Dill;D. Engler
通讯作者：
D. Engler
DOI：
10.1007/978-3-642-28872-2_28
发表时间：
2012-03
期刊：
--
影响因子：
--
作者：
Matthew Staats;Gregory Gay;M. Whalen;M. Heimdahl
通讯作者：
Matthew Staats;Gregory Gay;M. Whalen;M. Heimdahl