マルチモーダル深層表現学習に基づく医用画像理解

本研究の目的は，医用画像からの病変検出・良悪性鑑別における画像と所見（検査データに基づく医師の判断）を有効活用した方法の検討と，その超音波診断支援への適用である．超音波画像は肝臓や乳腺領域における腫瘍の存在を知るための最初の検査となることが多い．しかしながら，超音波プローブを自ら操作し撮影と診断とを同時におこなう必要があることから，医師や技師によってその診断能力に差が生じるという問題がある．本年度は，超音波動画像からの所見作成支援のための病変検出，追跡を中心に研究を進めた．腫瘍は検出するだけでなく、どの種類の腫瘍であるのかを特定する（良悪性、病変タイプ）ことが望まれている．腫瘍は円形状の高輝度または低輝度の領域という共通の特徴があるため，検出は比較的容易であるが，同時に腫瘍タイプの分類をおこなうことは難しい．そのため，事前に対照学習により腫瘍のタイプを分類することに適したニューラルネットワークの重みを学習し，その重みを起点とした検出器を構築した．その結果，検出と分類を別々で行った場合と同等の精度を達成できた．一つのニューラルネットワークでこれを実現できたことで，実利用を考えた場合，高速化や省メモリという利点がある．また，画像特徴と付帯情報の利用の基礎的な実験として，進行肝癌に対するチロシンキナーゼ阻害剤の効果予測に取り組んだ．検査データと薬剤利用結果の組が少数であることから，CT画像から得られる特徴を厳選して利用し，適切なデータ拡張をおこなうことで7割程度であった最大正解率を1割向上させることに成功した．

本研究の目的は，医用画像からの病変検出・良悪性鑑別における画像と所見（検査データに基づく医師の判断）を有効活用した方法の検討と，その超音波診断支援への適用である．超音波画像は肝臓や乳腺領域における腫瘍の存在を知るための最初の検査となることが多い．しかしながら，超音波プローブを自ら操作し撮影と診断とを同時におこなう必要があることから，医師や技師によってその診断能力に差が生じるという問題がある．本年度は，超音波動画像からの所見作成支援のための病変検出，追跡を中心に研究を進めた．腫瘍は検出するだけでなく、どの種類の腫瘍であるのかを特定する（良悪性、病変タイプ）ことが望まれている．腫瘍は円形状の高輝度または低輝度の領域という共通の特徴があるため，検出は比較的容易であるが，同時に腫瘍タイプの分類をおこなうことは難しい．そのため，事前に対照学習により腫瘍のタイプを分類することに適したニューラルネットワークの重みを学習し，その重みを起点とした検出器を構築した．その結果，検出と分類を別々で行った場合と同等の精度を達成できた．一つのニューラルネットワークでこれを実現できたことで，実利用を考えた場合，高速化や省メモリという利点がある．また，画像特徴と付帯情報の利用の基礎的な実験として，進行肝癌に対するチロシンキナーゼ阻害剤の効果予測に取り組んだ．検査データと薬剤利用結果の組が少数であることから，CT画像から得られる特徴を厳選して利用し，適切なデータ拡張をおこなうことで7割程度であった最大正解率を1割向上させることに成功した．