マルチモーダル深層表現学習に基づく医用画像理解

基于多模态深度表示学习的医学图像理解

• 批准号: 21K12077
• 负责人: 目加田 慶人
• 金额: $ 2.66万
• 依托单位: Chukyo University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-21K12077/
• 关键词: 深層学習; 医用画像診断支援; 腹部超音波画像; 医用画像; マルチモーダル

本研究の目的は，医用画像からの病変検出・良悪性鑑別における画像と所見（検査データに基づく医師の判断）を有効活用した方法の検討と，その超音波診断支援への適用である．超音波画像は肝臓や乳腺領域における腫瘍の存在を知るための最初の検査となることが多い．しかしながら，超音波プローブを自ら操作し撮影と診断とを同時におこなう必要があることから，医師や技師によってその診断能力に差が生じるという問題がある．本年度は，超音波動画像からの所見作成支援のための病変検出，追跡を中心に研究を進めた．腫瘍は検出するだけでなく、どの種類の腫瘍であるのかを特定する（良悪性、病変タイプ）ことが望まれている．腫瘍は円形状の高輝度または低輝度の領域という共通の特徴があるため，検出は比較的容易であるが，同時に腫瘍タイプの分類をおこなうことは難しい．そのため，事前に対照学習により腫瘍のタイプを分類することに適したニューラルネットワークの重みを学習し，その重みを起点とした検出器を構築した．その結果，検出と分類を別々で行った場合と同等の精度を達成できた．一つのニューラルネットワークでこれを実現できたことで，実利用を考えた場合，高速化や省メモリという利点がある．また，画像特徴と付帯情報の利用の基礎的な実験として，進行肝癌に対するチロシンキナーゼ阻害剤の効果予測に取り組んだ．検査データと薬剤利用結果の組が少数であることから，CT画像から得られる特徴を厳選して利用し，適切なデータ拡張をおこなうことで7割程度であった最大正解率を1割向上させることに成功した．

The purpose of this study is to investigate the application of ultrasound diagnostic support in medical imaging, diagnosis and evaluation of diseases, diagnosis and diagnosis of diseases, and diagnosis of diseases. Ultrasonic imaging of liver and breast areas is the first to detect the presence of tumors. Ultrasound is a diagnostic tool that can be used to detect and diagnose diseases. This year, ultrasonic animation images were found to support the creation of disease detection, tracking and central research. The disease is caused by a variety of factors, such as the type of disease, and the type of disease. The common characteristics of high brightness and low brightness areas in the shape of the tumor are easy to detect and difficult to classify. The first step is to learn from the first step. The result of the test is that the test results are different and the same accuracy is achieved. A high speed, low cost and high profit point can be realized by using this technology. In addition, the basic application of image characteristics and bandwidth information is discussed, and the prediction of liver cancer effects is carried out. The results of CT imaging were selected from a small number of groups, and the results of CT imaging were selected from a large number of groups.

项目成果

Liver tumor detection and classification from abdominal ultrasound images with CenterNet using contrastive learning

使用 CenterNet 使用对比学习对腹部超声图像进行肝脏肿瘤检测和分类

• DOI: 10.1117/12.2662969
• 发表时间: 2023
• 期刊: Proc. SPIE 12592, International Workshop on Advanced Imaging Technology (IWAIT) 2023
• 作者: Hara Eigo;Doman Keisuke;Mekada Yoshito;Nishida Naoshi;Kudo Masatoshi
• 通讯作者: Kudo Masatoshi

Surgical Instrument Segmentation using Estimated Depth from Monocular Laparoscopic Image

使用单目腹腔镜图像的估计深度进行手术器械分割

• DOI: 10.11409/mit.40.241
• 发表时间: 2022
• 期刊: Medical Imaging Technology
• 作者: Hara Eigo;Doman Keisuke;Mekada Yoshito;Nishida Naoshi;Kudo Masatoshi;鈴木 拓矢，道満 恵介，目加田 慶人，三澤 一成，森 健策
• 通讯作者: 鈴木 拓矢，道満 恵介，目加田 慶人，三澤 一成，森 健策

超音波画像ビッグデータベース構築と腹部超音波B-mode検査における肝腫瘍検出のAI支援

AI支持超声图像大数据库建设及腹部超声B超检查中肝脏肿瘤检测

• 发表时间: 2021
• 作者: Nishida Naoshi;Yamakawa Makoto;Shiina Tsuyoshi;Mekada Yoshito;Nishida Mutsumi;Sakamoto Naoya;Nishimura Takashi;Iijima Hiroko;Hirai Toshiko;Takahashi Ken;Sato Masaya;Tateishi Ryosuke;Ogawa Masahiro;Mori Hideaki;Kitano Masayuki;Toyoda Hidenori;Ogawa Chikara;目加田慶人;西田直生志，山川誠，目加田慶人，椎名毅，工藤正俊;池田裕亮，道満恵介，目加田慶人，西田直生志，工藤正俊;内河 友哉，道満 恵介，目加田 慶人，西田 直生志，工藤 正俊;目加田 慶人，西田 直生志，工藤 正俊;池田 裕亮，道満 恵介，小川 眞広，西田 直生志，工藤 正俊;目加田慶人;池田 裕亮，目加田 慶人，西田 直生志，工藤 正俊;西田 直生志，目加田 慶人，工藤 正俊
• 通讯作者: 西田 直生志，目加田 慶人，工藤 正俊

機械学習を用いた進行肝癌に対するチロシンキナーゼ阻害剤の効果予測の試み

尝试利用机器学习预测酪氨酸激酶抑制剂对晚期肝癌的作用

• 发表时间: 2021
• 作者: 池田 裕亮;目加田 慶人;西田 直生志
• 通讯作者: 西田 直生志

AIを用いたHCCに対するTKIの効果予測

使用 AI 预测 TKI 对 HCC 的效果

• 发表时间: 2022
• 期刊: 肝胆膵
• 作者: Nishida Naoshi;Yamakawa Makoto;Shiina Tsuyoshi;Mekada Yoshito;Nishida Mutsumi;Sakamoto Naoya;Nishimura Takashi;Iijima Hiroko;Hirai Toshiko;Takahashi Ken;Sato Masaya;Tateishi Ryosuke;Ogawa Masahiro;Mori Hideaki;Kitano Masayuki;Toyoda Hidenori;Ogawa Chikara;目加田慶人;西田直生志，山川誠，目加田慶人，椎名毅，工藤正俊;池田裕亮，道満恵介，目加田慶人，西田直生志，工藤正俊
• 通讯作者: 池田裕亮，道満恵介，目加田慶人，西田直生志，工藤正俊