自然言語処理とGANを利用したマルチモーダルコーパスによる説明可能AIの実現

点击翻译按钮获取中文摘要

chatGPTをはじめとする対話型AIサービスが急激に浸透してきたが，医用画像の読影やその所見を個別に言語化し，また，言語から画像を生成するAIシステムはまだ登場していない．その背景のもと，各種画像生成モデルを拡張し，胸部X線画像の人工生成に関して，言語からの画像生成と生成した画像のユニークさ（どの画像とも類似せず独自の画像が生成される状態）を評価する方法について研究を行った．画像生成は，GAN系とDiffusion系を利用した．言語からの画像生成はDiffusionを再学習して行い，学習用データはNIHなどが公開するデータベースを利用した．生成画像のユニークさは，学習に用いた画像と生成した画像の類似度を総当たりで計算する学習－生成類似度行列と，生成した画像同士の類似度を総当たりで計算した生成－生成類似度行列で評価した．また，学習画像と生成画像の差分画像や生成画像同士の差分画像を総当たりで作成し，その画素値をクラスタリングした結果によって生成した画像の内部構造の類似性を評価する方法を考案した．これらの結果から，自然言語で指示した人工的な胸部X線画像や結節や肺炎などの所見を含む病変部の画像が深層学習を用いて作成できることが示された．一方，生成した画像のユニークさは，学習データに強く依存するため，学習に用いる画像の量ではなく性質の選択が重要であった．またこれら深層学習や自然言語関連の研究を実施するために，胸部X線画像およびCT画像に関する臨床研究も実施し，論文執筆を行ない，知識の言語化に関する情報蓄積とデータベース化を行なった．