自然言語処理とGANを利用したマルチモーダルコーパスによる説明可能AIの実現

使用自然语言处理和 GAN 通过多模态语料库实现可解释的 AI

• 批准号: 22K07648
• 负责人: 松迫 正樹
• 金额: $ 2.66万
• 依托单位: St. Luke's International University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K07648/
• 关键词: 深層学習; 画像生成; 自然言語; 胸部X線画像; AI; 自然言語処理; GAN

chatGPTをはじめとする対話型AIサービスが急激に浸透してきたが，医用画像の読影やその所見を個別に言語化し，また，言語から画像を生成するAIシステムはまだ登場していない．その背景のもと，各種画像生成モデルを拡張し，胸部X線画像の人工生成に関して，言語からの画像生成と生成した画像のユニークさ（どの画像とも類似せず独自の画像が生成される状態）を評価する方法について研究を行った．画像生成は，GAN系とDiffusion系を利用した．言語からの画像生成はDiffusionを再学習して行い，学習用データはNIHなどが公開するデータベースを利用した．生成画像のユニークさは，学習に用いた画像と生成した画像の類似度を総当たりで計算する学習－生成類似度行列と，生成した画像同士の類似度を総当たりで計算した生成－生成類似度行列で評価した．また，学習画像と生成画像の差分画像や生成画像同士の差分画像を総当たりで作成し，その画素値をクラスタリングした結果によって生成した画像の内部構造の類似性を評価する方法を考案した．これらの結果から，自然言語で指示した人工的な胸部X線画像や結節や肺炎などの所見を含む病変部の画像が深層学習を用いて作成できることが示された．一方，生成した画像のユニークさは，学習データに強く依存するため，学習に用いる画像の量ではなく性質の選択が重要であった．またこれら深層学習や自然言語関連の研究を実施するために，胸部X線画像およびCT画像に関する臨床研究も実施し，論文執筆を行ない，知識の言語化に関する情報蓄積とデータベース化を行なった．

ChatGPT is the first time that a voice AI service has been activated. It is the first time that a voice AI service has been activated. In the background, various types of images are generated, and the artificial generation of chest X-ray images is related to the generation of images by speech. Portrait generation, GAN system and Diffusion system. Speech and image generation Diffusion re-learning, learning and use of NIH To create a portrait, learn to create a portrait similarity, calculate a portrait similarity, and evaluate a portrait similarity. A method for evaluating the similarity of the internal structure of the image is examined. The result of this study is that natural speech indicates artificial chest X-ray images, nodules and pneumonia, and images containing disease are used for deep learning. One side, the production of pictures, the study of strong dependence, the study of the use of pictures, the selection of important. Deep learning and natural speech correlation research are carried out. Chest X-ray imaging and CT imaging are carried out. Paper writing is carried out. Knowledge and speech are related to information accumulation and transformation.

项目成果

半教師あり相互学習を用いた少数のデータの学習における血管病変領域の自動抽出

利用半监督互学习在少量数据学习中自动提取血管病变区域

• 发表时间: 2023
• 期刊: 電子情報通信学会技術報告
• 作者: Yamada D;Matsusako M;Yoneoka D;Oikado K;Ninomiya H;Nozaki T;Ishiyama M;Makidono A;Otsuji M;Ito H;Ojiri H.;蓮沼龍弥，野崎太希，松迫正樹，原 武史，周 向栄，藤田広志
• 通讯作者: 蓮沼龍弥，野崎太希，松迫正樹，原 武史，周 向栄，藤田広志

<i>Ex-vivo</i> 1.5T MR Imaging versus CT in Estimating the Size of the Pathologically Invasive Component of Lung Adenocarcinoma Spectrum Lesions

<i>离体</i> 1.5T MR 成像与 CT 评估肺腺癌谱系病变病理侵袭部分的大小

• DOI: 10.2463/mrms.mp.2022-0125
• 发表时间: 2024
• 期刊: Magnetic Resonance in Medical Sciences
• 影响因子: 3
• 作者: Yamada D;Matsusako M;Yoneoka D;Oikado K;Ninomiya H;Nozaki T;Ishiyama M;Makidono A;Otsuji M;Ito H;Ojiri H.
• 通讯作者: Ojiri H.