Virtual Reality (VR) Automated Testing in the Wild: A Case Study on Unity-Based VR Applications
Virtual Reality (VR) Automated Testing in the Wild: A Case Study on Unity-Based VR Applications
复制标题
虚拟现实 (VR) 野外自动测试：基于 Unity 的 VR 应用案例研究
DOI：
10.1145/3597926.3598134
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Hassan, Foyzul
中科院分区：
文献类型：
--
作者：
Rzig, Dhia Elhaq;Iqbal, Nafees;Attisano, Isabella;Qin, Xue;Hassan, Foyzul
虚拟现实（VR）是一种新兴的技术，为用户提供独特的实时体验。VR技术已经在各种场景中提供了革命性的用户体验（例如，培训、教育、游戏等）。然而，测试VR应用程序是具有挑战性的，因为它们的性质需要物理交互，并且依赖于特定的硬件系统。尽管最近VR技术及其使用场景取得了进步，但我们对VR应用测试仍然知之甚少。为了填补这一知识空白，我们对314个开源VR应用程序进行了实证研究。我们的分析发现，79%的被评估的VR项目没有任何自动测试，对于有自动测试的VR项目，功能方法与测试方法的比例中位数低于其他项目类型。此外，我们还发现了有关VR代码覆盖率测量的工具支持问题，我们能够生成的断言密度结果相对较低，平均为17.63%。最后，通过对370个测试用例的手动分析，我们确定了用于验证VR应用程序质量属性的不同类别的测试用例。此外，我们提取了这些类别中的哪些是VR注意，这意味着测试作者在编写这些类别的测试时需要特别注意VR特征。我们相信，我们的研究结果构成了一个呼吁行动的VR开发社区，以改善他们的自动测试实践，并为软件工程研究人员提供方向，以开发先进的技术，自动测试用例生成和测试质量分析的VR应用程序。我们的复制包包含我们使用的数据集，我们开发的软件工具以及我们发现的结果，可以在doi.org/10.6084/m9.figshare.19678938上访问。
Virtual Reality (VR) is an emerging technique that provides a unique real-time experience for users. VR technologies have provided revolutionary user experiences in various scenarios (e.g., training, education, gaming, etc.). However, testing VR applications is challenging due to their nature which necessitates physical interactivity, and their reliance on specific hardware systems. Despite the recent advancements in VR technology and its usage scenarios, we still know little about VR application testing. To fill up this knowledge gap, we performed an empirical study on 314 open-source VR applications. Our analysis identified that 79% of the VR projects evaluated did not have any automatic tests, and for the VR projects that did, the median functional-method to test-method ratios were lower than those of other project types. Moreover, we uncovered tool support issues concerning the measurement of VR code coverage, and the assertion density results we were able to generate were relatively low, with an average of 17.63%. Finally, through a manual analysis of 370 test cases, we identified the different categories of test cases being used to validate VR application quality attributes. Furthermore, we extracted which of these categories are VR-attention, meaning that test writers need to pay special attention to VR characteristics when writing tests of these categories. We believe that our findings constitute a call to action for the VR development community to improve their automatic testing practices and provide directions for software engineering researchers to develop advanced techniques for automatic test case generation and test quality analysis for VR applications. Our replication package containing the dataset we used, software tools we developed, and the results we found, is accessible at https://doi.org/10.6084/m9.figshare.19678938.
登录
查看更多内容
影响因子：
10.3
作者：
Yuxuan Zhang;Hexu Liu;Shih-Chung Kang;M. Al-Hussein
通讯作者：
Yuxuan Zhang;Hexu Liu;Shih-Chung Kang;M. Al-Hussein
虚幻
DOI：
10.4324/9780429424779-3
发表时间：
2018
期刊：
Contending with Gun Violence in the English Language Classroom
影响因子：
--
作者：
D. Belbin
通讯作者：
D. Belbin
评估软件断言和故障之间的关系：实证研究
DOI：
10.1109/issre.2006.14
发表时间：
2006
期刊：
2006 17th International Symposium on Software Reliability Engineering
影响因子：
--
作者：
Gunnar Kudrjavets;Nachiappan Nagappan;T. Ball
通讯作者：
T. Ball
DOI：
10.1145/3373123
发表时间：
2020-01
期刊：
Artifact Digital Object Group
影响因子：
--
作者：
M. Serrano;R. Findler
通讯作者：
M. Serrano;R. Findler
DOI：
10.1109/icpc52881.2021.00043
发表时间：
2021-05
期刊：
2021 IEEE/ACM 29th International Conference on Program Comprehension (ICPC)
影响因子：
--
作者：
Jacinto Molina;Xue Qin;Xiaoyin Wang
通讯作者：
Jacinto Molina;Xue Qin;Xiaoyin Wang