Multimodal fusion with deep neural networks for leveraging CT imaging and electronic health record: a case-study in pulmonary embolism detection.
Multimodal fusion with deep neural networks for leveraging CT imaging and electronic health record: a case-study in pulmonary embolism detection.
复制标题
具有深层神经网络的多模式融合，用于利用CT成像和电子健康记录：肺栓塞检测的病例研究。
DOI：
10.1038/s41598-020-78888-w
复制
发表时间：
2020-12-17
影响因子：
4.6
通讯作者：
Lungren MP
中科院分区：
文献类型：
--
作者：
Huang SC;Pareek A;Zamanian R;Banerjee I;Lungren MP
深度学习的最新进展导致医学成像和电子病历（EMR）模型的复苏，用于各种应用，包括临床决策支持，自动化工作流程分类，临床预测等。然而，很少有模型已经开发出整合临床和成像数据，尽管在常规实践中，临床医生依赖于EMR提供医学成像解释的背景。在本研究中，我们开发并比较了不同的多模式融合模型架构，这些模型架构能够利用来自体积计算机断层扫描肺血管造影扫描的像素数据和来自电子病历的临床患者数据来自动分类肺栓塞（PE）病例。性能最佳的多模态模型是晚期融合模型，在整个保留测试集上达到0.947 [95% CI：0.946-0.948]的AUROC，优于仅成像和仅EMR的单模态模型。
Recent advancements in deep learning have led to a resurgence of medical imaging and Electronic Medical Record (EMR) models for a variety of applications, including clinical decision support, automated workflow triage, clinical prediction and more. However, very few models have been developed to integrate both clinical and imaging data, despite that in routine practice clinicians rely on EMR to provide context in medical imaging interpretation. In this study, we developed and compared different multimodal fusion model architectures that are capable of utilizing both pixel data from volumetric Computed Tomography Pulmonary Angiography scans and clinical patient data from the EMR to automatically classify Pulmonary Embolism (PE) cases. The best performing multimodality model is a late fusion model that achieves an AUROC of 0.947 [95% CI: 0.946–0.948] on the entire held-out test set, outperforming imaging-only and EMR-only single modality models.
登录
查看更多内容
放射学报告使用智能单词嵌入的注释：应用于多机构胸部CT队列。
影响因子：
4.5
作者：
Banerjee I;Chen MC;Lungren MP;Rubin DL
通讯作者：
Rubin DL
影响因子：
8
作者：
Alonso-Martinez, J. L.;Anniccherico Sanchez, F. J.;Urbieta Echezarreta, M. A.
通讯作者：
Urbieta Echezarreta, M. A.
影响因子：
3.1
作者：
Chandra, Subani;Sarkar, Pralay K.;Cohen, Rubin I.
通讯作者：
Cohen, Rubin I.
影响因子：
2.6
作者：
Leslie, A;Jones, AJ;Goddard, PR
通讯作者：
Goddard, PR
影响因子：
7.5
作者：
Banerjee, Imon;Ling, Yuan;Lungren, Matthew P.
通讯作者：
Lungren, Matthew P.