機械学習に基づくマルチモーダル画像生成手法の構築

点击翻译按钮获取中文摘要

本研究では，医用画像におけるマルチモーダル画像生成手法の構築を目的として，研究を遂行してきた．具体的に本研究では，胃X線画像および血液検査抗体値を用い，胃炎初期状態の患者の胃X線画像から，胃炎が進行した場合の未知情報を画像生成により推定することを目的とする．本研究は，【研究１：胃炎の進行予測画像の生成】および【研究2：画像生成手法のマルチモーダル化】の2つのテーマから構築されている．研究計画策定時点においては，研究１では，任意の胃がんリスクに応じた予測画像の生成を行い，研究２では，血液検査結果と照らし合わせた学習を行う推定器を加えた画像生成手法のマルチモーダル化を行う予定であった．研究実施者はまず，高解像度である胃X線画像に対する画像生成を実現するため，徐々に解像度を向上させる画像生成手法であるProgressive Growing of GANs (PGGAN) に基づき画像生成手法を構築した．さらに生成画像の胃炎分類問題への応用可能性を示した．尚，本成果は学際論文誌IEEE Accessへの採録に至っている．次に研究実施者は，血液検査値と胃X線画像の対応付けによる画像生成の研究に着手した．血液検査による結果をドメインラベルベクトルとして扱うことで血液検査結果の入力に対応した画像生成が可能となる手法を構築した．また，本成果に関して，画像認識分野における国内最大規模の学会である「画像の認識・理解シンポジウム(MIRU) 」においてポスター発表を行った．以上より，研究実施者は，本研究に関する成果をほぼ研究計画通りに実施しており，研究成果を対外発表や論文として社会に還元している．