ソフトウェアバグ予測を題材とする機械学習システムの評価技術の開発

機械学習システムを評価するという課題に対し，特にソフトウェアバグ予測を対象とした方法を提案した．従来，バグ予測においてはprecision，recall，F1値などの評価指標が広く用いられてきたが，しかし，これらの尺度はデータセット中のバグあり／なしの個体の比率（neg/pos ratio）に大きく影響されるため，異なるデータセットに対するバグ予測精度を比較する場合に大きな問題となっていた．例えば，予測精度としてprecision = 0.8もしくはF1 = 0.8といった結果が得られたとしても，データセット中のバグあり(pos）の個体の割合が0.8を超えている場合，この予測は精度が高いとはいえない．そこで，本研究ではneg，posの値に基づいて予測精度の期待値およびそのばらつきを算出し，それらに基づいた尺度であるneg/pos-normalized accuracy measuresを提案した．提案尺度により，異なるデータセットに対する予測精度の比較が可能となるとともに，多数の予測結果をランク付けすることが可能となった．提案尺度の有効性を評価するために，19件のオープンソースソフトウェアプロジェクトのデータセットを用いたケーススタディを行った．その結果，precision < 0.1となるような，従来であれば予測精度が極めて低く，予測に失敗したと判断されていた事例においても，予測が成功であると判断できる場合があることが分かった．また，従来の尺度の中では，MCC (Matthews Correlation Coefficient)は提案尺度と類似する値の傾向を示すため，予測精度を低コストで（confusion matrixのみに基づいて）評価したい場合には，MCCを用いることが望ましいことが分かった．

機械学習システムを評価するという課題に対し，特にソフトウェアバグ予測を対象とした方法を提案した．従来，バグ予測においてはprecision，recall，F1値などの評価指標が広く用いられてきたが，しかし，これらの尺度はデータセット中のバグあり／なしの個体の比率（neg/pos ratio）に大きく影響されるため，異なるデータセットに対するバグ予測精度を比較する場合に大きな問題となっていた．例えば，予測精度としてprecision = 0.8もしくはF1 = 0.8といった結果が得られたとしても，データセット中のバグあり(pos）の個体の割合が0.8を超えている場合，この予測は精度が高いとはいえない．そこで，本研究ではneg，posの値に基づいて予測精度の期待値およびそのばらつきを算出し，それらに基づいた尺度であるneg/pos-normalized accuracy measuresを提案した．提案尺度により，異なるデータセットに対する予測精度の比較が可能となるとともに，多数の予測結果をランク付けすることが可能となった．提案尺度の有効性を評価するために，19件のオープンソースソフトウェアプロジェクトのデータセットを用いたケーススタディを行った．その結果，precision < 0.1となるような，従来であれば予測精度が極めて低く，予測に失敗したと判断されていた事例においても，予測が成功であると判断できる場合があることが分かった．また，従来の尺度の中では，MCC (Matthews Correlation Coefficient)は提案尺度と類似する値の傾向を示すため，予測精度を低コストで（confusion matrixのみに基づいて）評価したい場合には，MCCを用いることが望ましいことが分かった．