Evaluation of the importance of training data quality in AI for liver tumor ultrasound diagnosis

Deep Learningを用いたAI開発においては、教師データの質と量が重要である。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価し、教師データの質の重要性を明らかにする。当該年度は、その最初の段階として、アノテーションが不十分な教師データから自動で正確なアノテーションを行う手法の開発に取り組んだ。本研究で使用している肝腫瘤超音波画像データはアノテーションの精度にバラツキがあるが、基本的にはアノテーションが行われている領域には１つの肝腫瘤が含まれている。そのため、検出の際の分解能を優先させ、Deep Learning手法としてはYOLOv4を用い、学習用のデータとしては申請者が手動で正確なアノテーションを行った約7000枚のデータを用いた。その結果、肝嚢胞に関しては比較的精度良く検出できたが、肝血管腫、肝細胞癌、転移性肝癌に関しては検出結果をそのまま正確なアノテーションとして用いるには不十分であった。そこで、Deep Learningの検出結果を初期値として動的輪郭（snakes）法を用いた肝腫瘤領域抽出を試みた。その結果、多くの画像では検出結果が改善した。ただし、ヒトが見ても腫瘍輪郭がわからないような画像においてはやはり正確な検出は難しいことが分かった。そのため、本研究ではDeep Learningおよびsnakes法による検出結果に対して最終的にヒトによる確認をし、必要であれば修正を行い正確なアノテーションを行った。また、今回正確なアノテーションを行ったデータに対して、元のアノテーション（教師データ）の質を定量的に評価した。その結果、アノテーション領域の大きさに対する誤差としては約10%、位置ずれ誤差としては約5%の誤差が含まれていたことが確認された。

Deep Learningを用いたAI開発においては、教師データの質と量が重要である。そこで、本研究では肝腫瘤の検出および分類を行う超音波画像診断支援AIにおいて教師データの質と精度の関係を定量的に評価し、教師データの質の重要性を明らかにする。当該年度は、その最初の段階として、アノテーションが不十分な教師データから自動で正確なアノテーションを行う手法の開発に取り組んだ。本研究で使用している肝腫瘤超音波画像データはアノテーションの精度にバラツキがあるが、基本的にはアノテーションが行われている領域には１つの肝腫瘤が含まれている。そのため、検出の際の分解能を優先させ、Deep Learning手法としてはYOLOv4を用い、学習用のデータとしては申請者が手動で正確なアノテーションを行った約7000枚のデータを用いた。その結果、肝嚢胞に関しては比較的精度良く検出できたが、肝血管腫、肝細胞癌、転移性肝癌に関しては検出結果をそのまま正確なアノテーションとして用いるには不十分であった。そこで、Deep Learningの検出結果を初期値として動的輪郭（snakes）法を用いた肝腫瘤領域抽出を試みた。その結果、多くの画像では検出結果が改善した。ただし、ヒトが見ても腫瘍輪郭がわからないような画像においてはやはり正確な検出は難しいことが分かった。そのため、本研究ではDeep Learningおよびsnakes法による検出結果に対して最終的にヒトによる確認をし、必要であれば修正を行い正確なアノテーションを行った。また、今回正確なアノテーションを行ったデータに対して、元のアノテーション（教師データ）の質を定量的に評価した。その結果、アノテーション領域の大きさに対する誤差としては約10%、位置ずれ誤差としては約5%の誤差が含まれていたことが確認された。