权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ソフトウェアバグ予測を題材とする機械学習システムの評価技術の開発

基于软件缺陷预测的机器学习系统评估技术开发

基本信息

批准号：
20K11749
负责人：
門田暁人
金额：
$ 2.75万
依托单位：
Okayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

機械学習システムを評価するという課題に対し，特にソフトウェアバグ予測を対象とした方法を提案した．従来，バグ予測においてはprecision，recall，F1値などの評価指標が広く用いられてきたが，しかし，これらの尺度はデータセット中のバグあり／なしの個体の比率（neg/pos ratio）に大きく影響されるため，異なるデータセットに対するバグ予測精度を比較する場合に大きな問題となっていた．例えば，予測精度としてprecision = 0.8もしくはF1 = 0.8といった結果が得られたとしても，データセット中のバグあり(pos）の個体の割合が0.8を超えている場合，この予測は精度が高いとはいえない．そこで，本研究ではneg，posの値に基づいて予測精度の期待値およびそのばらつきを算出し，それらに基づいた尺度であるneg/pos-normalized accuracy measuresを提案した．提案尺度により，異なるデータセットに対する予測精度の比較が可能となるとともに，多数の予測結果をランク付けすることが可能となった．提案尺度の有効性を評価するために，19件のオープンソースソフトウェアプロジェクトのデータセットを用いたケーススタディを行った．その結果，precision < 0.1となるような，従来であれば予測精度が極めて低く，予測に失敗したと判断されていた事例においても，予測が成功であると判断できる場合があることが分かった．また，従来の尺度の中では，MCC (Matthews Correlation Coefficient)は提案尺度と類似する値の傾向を示すため，予測精度を低コストで（confusion matrixのみに基づいて）評価したい場合には，MCCを用いることが望ましいことが分かった．

Machine learning is the most important part of the project. In the future, the prediction accuracy will be greatly affected by the ratio of the individual units in the prediction accuracy comparison. For example, if the prediction accuracy is 0.8, then F1 = 0.8, then the prediction accuracy is high. In this study, we propose neg/pos-normalized accuracy measures to calculate the expected value of the accuracy of the prediction. A comparison of the prediction accuracy of the proposed scale is possible, and most of the prediction results are possible. 19 pieces of software are available for evaluation. For example, the prediction accuracy is extremely low, the prediction fails, the judgment fails, the prediction succeeds, the judgment fails, and the case fails. The MCC (Matthews Correlation Coefficient) has a tendency to estimate the similarity of the proposed scale and the prediction accuracy.