Research on improving coverage of machine learning based software testing

本研究では，機械学習を利用したテスト支援環境におけるカバレッジの向上を目的としている．2022年度はまず，現在のテスト支援環境の限界の調査を行った．これを通して，いくつか問題点が明らかになり，解決策を検討し，提案・評価を行った．まず，特定の画面を対象にテストするとき，その画面に到達するために長いパスを必要とする場合，なかなか到達できない問題があった．これに対しては，決定性有限オートマトンを用いて探索パスを記録することにより，状態の再現を可能とし，すでに到達したことのある状態に直接移動することを可能にする手法を提案した．12個のモバイルアプリケーションに対して評価した結果，三つのアプリケーションについてはカバレッジの向上が見られた．向上が見られなかったアプリケーションに対して分析した結果，(1) アプリケーションが小さく状態数が少なかったため効果を得られなかった，(2) アプリケーションの遷移がテスト中に変化する，などがわかった．現在，引き続き結果を分析中である．上記と並行して別の観点から問題の解決を図った．本環境のテスト手法では，基本的に画面を単位として状態を定義しているが，UI部品の位置を細かく指定すると簡単に状態数が爆発する．また，状態間の遷移に対する報酬が固定されているため，同じ遷移が選ばれるようになる問題がある．最後に，学習の収束しにくさという問題もある．これらの問題を解決するために，(1) 離散値に限定した状態の定義，(2) 動的な報酬関数，(3) 遷移履歴の使用による定期的な再学習の3点を提案した．評価の結果，以前よりカバレッジが約20%向上した．

本研究では，機械学習を利用したテスト支援環境におけるカバレッジの向上を目的としている．2022年度はまず，現在のテスト支援環境の限界の調査を行った．これを通して，いくつか問題点が明らかになり，解決策を検討し，提案・評価を行った．まず，特定の画面を対象にテストするとき，その画面に到達するために長いパスを必要とする場合，なかなか到達できない問題があった．これに対しては，決定性有限オートマトンを用いて探索パスを記録することにより，状態の再現を可能とし，すでに到達したことのある状態に直接移動することを可能にする手法を提案した．12個のモバイルアプリケーションに対して評価した結果，三つのアプリケーションについてはカバレッジの向上が見られた．向上が見られなかったアプリケーションに対して分析した結果，(1) アプリケーションが小さく状態数が少なかったため効果を得られなかった，(2) アプリケーションの遷移がテスト中に変化する，などがわかった．現在，引き続き結果を分析中である．上記と並行して別の観点から問題の解決を図った．本環境のテスト手法では，基本的に画面を単位として状態を定義しているが，UI部品の位置を細かく指定すると簡単に状態数が爆発する．また，状態間の遷移に対する報酬が固定されているため，同じ遷移が選ばれるようになる問題がある．最後に，学習の収束しにくさという問題もある．これらの問題を解決するために，(1) 離散値に限定した状態の定義，(2) 動的な報酬関数，(3) 遷移履歴の使用による定期的な再学習の3点を提案した．評価の結果，以前よりカバレッジが約20%向上した．