Research on improving coverage of machine learning based software testing

基于机器学习的软件测试提高覆盖率研究

• 批准号: 22K11979
• 负责人: 高田 眞吾
• 金额: $ 2.41万
• 依托单位: Keio University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K11979/
• 关键词: ソフトウェアテスト; 機械学習; Android; モバイルアプリケーション

本研究では，機械学習を利用したテスト支援環境におけるカバレッジの向上を目的としている．2022年度はまず，現在のテスト支援環境の限界の調査を行った．これを通して，いくつか問題点が明らかになり，解決策を検討し，提案・評価を行った．まず，特定の画面を対象にテストするとき，その画面に到達するために長いパスを必要とする場合，なかなか到達できない問題があった．これに対しては，決定性有限オートマトンを用いて探索パスを記録することにより，状態の再現を可能とし，すでに到達したことのある状態に直接移動することを可能にする手法を提案した．12個のモバイルアプリケーションに対して評価した結果，三つのアプリケーションについてはカバレッジの向上が見られた．向上が見られなかったアプリケーションに対して分析した結果，(1) アプリケーションが小さく状態数が少なかったため効果を得られなかった，(2) アプリケーションの遷移がテスト中に変化する，などがわかった．現在，引き続き結果を分析中である．上記と並行して別の観点から問題の解決を図った．本環境のテスト手法では，基本的に画面を単位として状態を定義しているが，UI部品の位置を細かく指定すると簡単に状態数が爆発する．また，状態間の遷移に対する報酬が固定されているため，同じ遷移が選ばれるようになる問題がある．最後に，学習の収束しにくさという問題もある．これらの問題を解決するために，(1) 離散値に限定した状態の定義，(2) 動的な報酬関数，(3) 遷移履歴の使用による定期的な再学習の3点を提案した．評価の結果，以前よりカバレッジが約20%向上した．

这项研究旨在使用机器学习来改善测试支持环境中的覆盖范围。在2022财年，我们首先研究了当前测试支持环境的局限性。通过此，考虑了一些问题，考虑了解决方案，并提出了建议和评估。首先，在测试特定屏幕时，如果需要长路径才能到达该屏幕，则很难解决。为此，我们提出了一种方法，该方法允许使用确定性有限自动机记录搜索路径，并允许直接移动到已经达到的状态。由于对12个移动应用程序进行了评估，三个应用程序的覆盖范围得到了改善。对未显示改进的应用的分析表明，（1）没有获得效果，因为申请较小并且状态数很少，并且（2）应用程序过渡在测试期间发生了变化。我们目前正在继续分析结果。与上述同行，我们试图从另一个角度解决问题。在这种环境中，状态基本上是使用屏幕作为一个单元定义的，但是指定详细的UI零件位置很容易导致状态数量爆炸。此外，由于国家之间过渡的奖励是固定的，因此选择了相同的过渡问题。最后，融合学习的困难也存在问题。为了解决这些问题，我们提出了三个点：（1）限于离散值的状态的定义，（2）动态奖励函数，以及（3）使用过渡历史记录定期重新学习。由于评估，与以前相比，覆盖范围提高了约20％。