放射線診断学の画像とレポートを用いた深層学習の応用

使用诊断放射学图像和报告进行深度学习的应用

• 批准号: 22K07665
• 负责人: 西尾 瑞穂
• 金额: $ 2.58万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K07665/
• 关键词: 深層学習; 自然言語処理; 放射線診断学; クロスモーダル学習; 医用画像処理; 医用自然言語処理

Radimagenetと呼ばれる100万枚ほどのラベル付きの放射線画像を利用できるようになったため、放射線画像に関する深層学習の基盤モデルの作成を行った。Radimagenetをベースにすることで、医用画像に関する様々な用途に利用可能なモデルを開発できる可能性がある。今回開発した基盤モデルからの派生モデルも作成中である。JMIDと呼ばれる日本医学放射線学会が管理・運用するデータベースを利用できるようになった。JMIDのデータベースには100万件以上のCT・MRI検査（数億枚のCT・MRI画像）があるとされ、これを用いることで医用画像の基盤モデルの作成の高性能化が期待できる。また、胸部単純レントゲン写真からレポートの文章を生成するシステムのプロトタイプを作成した。現状では、胸部単純レントゲン写真から英語のレポートのみを出力するモデルとなる。現在は、英語のレポートだけでなく、日本語のレポートを出力できるようモデルを改造している。放射線診断レポートに関する自然言語処理として、named entity recognitionを行うモデルを作成した。また、放射線診断レポートから肺癌のTNM分類を推定するモデルの作成も行った。これらに関する論文を執筆し、NTCIR16で発表した。また、医療画像に関する深層学習のモデルを複数作り、その論文が掲載された。主なものとしては、前立腺癌の自動スコアのモデル、骨転移の自動検出のモデル、COVID19を自動診断するモデルなどがあげられる。

Radimagenet と shout ば れ る 1 million ほ ど の ラ ベ ル pay き の radiation portrait を using で き る よ う に な っ た た め portraits, radiation に masato す る deep learning の base plate モ デ ル の made を line っ た. Radimagenet を ベ ー ス に す る こ と で portraits, medical に masato す る others 々 な USES に use may な モ デ ル を open 発 で き る possibility が あ る. This time, the development of the <s:1> た base disk モデ モデ ら ら ら <s:1> derivative モデ <s:1> is being made である. JMIDと hu ばれる Japan Medical Radiological society が management · Utilization するデ タベ タベ スを utilization で るようになった るようになった JMID の デ ー タ ベ ー ス に は more than 1 million の CT, MRI 検 check (hundreds of millions of pieces of portraits の CT, MRI) が あ る と さ れ, こ れ を with い る こ と で medical portrait の base plate モ デ ル の made の high-performance が expect で き る. ま た, chest 単 pure レ ン ト ゲ ン photo か ら レ ポ ー ト の article を generated す る シ ス テ ム の プ ロ ト タ イ プ を made し た. Status quo で は, chest 単 pure レ ン ト ゲ ン photo か ら English の レ ポ ー ト の み を output す る モ デ ル と な る. は, English now の レ ポ ー ト だ け で な く, Japanese の レ ポ ー ト を output で き る よ う モ デ ル を transformation し て い る. Radiographic diagnosis レ ポ ー ト に masato す る natural speech 処 Richard と し て, named entity recognition を line う モ デ ル を made し た. Youdaoplaceholder0, radiological diagnosis レポ ト ト ら ら lung cancer <s:1> TNM classification を presumption するモデ するモデ <s:1> constitutes また line った. Youdaoplaceholder2 れらに is the author of する paper を, and NTCIR16で is the author of た た. Youdaoplaceholder0, medical portrait に related to する deep learning <s:1> モデ を を を plural as, そ が paper が published in された. Main な も の と し て は, automatic front adenocarcinoma の ス コ ア の モ デ ル, automatic bone planning move の 検 の モ デ ル, COVID19 を automatic diagnosis す る モ デ ル な ど が あ げ ら れ る.

项目成果

University of Zurich(スイス)

苏黎世大学（瑞士）

Dalle Molle Institute(スイス)

达勒莫勒研究所（瑞士）

Approach for Named Entity Recognition and Case Identification Implemented by ZuKyo-JA Sub-team at the NTCIR-16 Real-MedNLP Task

ZuKyo-JA 子团队在 NTCIR-16 Real-MedNLP 任务中实施的命名实体识别和病例识别方法

• 发表时间: 2022
• 期刊: Proceedings of NTCIR-16
• 作者: Koji Fujimoto;Mizuho Nishio;Osamu Sugiyama;Kana Ichikawa;Joseph Cornelius;Oscar Lithgow-Serrano;Vani Kanjirangat;Aron N Horvath;Farhad Nooralahzadeh;Michael Krauthammer;Fabio Rinaldi
• 通讯作者: Fabio Rinaldi