Multimodal fusion models for pulmonary embolism mortality prediction.
Multimodal fusion models for pulmonary embolism mortality prediction.
复制标题
DOI：
10.1038/s41598-023-34303-8
复制
发表时间：
2023-05-09
影响因子：
4.6
通讯作者：
中科院分区：
文献类型：
--
作者：
肺栓塞(PE)是一种常见的危及生命的心血管急症。风险分层是急性PE管理的核心原则之一，决定了诊断和治疗策略的选择。在常规的临床实践中，临床医生依赖患者的电子健康记录(EHR)来为他们的医学成像解释提供背景。大多数用于放射学应用的深度学习模型只考虑像素值信息，而不考虑临床背景。只有几个人同时整合了临床和成像数据。在这项工作中，我们开发和比较了多模式融合模型，这些模型可以通过结合体积像素数据和临床患者数据来利用多模式数据来自动进行PE的风险分层。我们性能最好的模型是一个中间融合模型，它结合了双线性注意和TabNet，并且可以以端到端的方式进行训练。结果表明，多模式可将性能提高高达14%，用于评估PE严重性的曲线下面积(AUC)为0.96，敏感性为90%，特异性为94%，从而表明了使用多模式数据自动评估PE严重性的价值。
Pulmonary embolism (PE) is a common, life threatening cardiovascular emergency. Risk stratification is one of the core principles of acute PE management and determines the choice of diagnostic and therapeutic strategies. In routine clinical practice, clinicians rely on the patient’s electronic health record (EHR) to provide a context for their medical imaging interpretation. Most deep learning models for radiology applications only consider pixel-value information without the clinical context. Only a few integrate both clinical and imaging data. In this work, we develop and compare multimodal fusion models that can utilize multimodal data by combining both volumetric pixel data and clinical patient data for automatic risk stratification of PE. Our best performing model is an intermediate fusion model that incorporates both bilinear attention and TabNet, and can be trained in an end-to-end manner. The results show that multimodality boosts performance by up to 14% with an area under the curve (AUC) of 0.96 for assessing PE severity, with a sensitivity of 90% and specificity of 94%, thus pointing to the value of using multimodal data to automatically assess PE severity.
登录
查看更多内容
DOI：
10.1164/rccm.200506-862oc
发表时间：
2005-10-15
影响因子：
24.7
作者：
Aujesky, D;Obrosky, DS;Fine, MJ
通讯作者：
Fine, MJ
影响因子：
--
作者：
Jimenez, David;Aujesky, Drahomir;Yusen, Roger D.
通讯作者：
Yusen, Roger D.
影响因子：
15.2
作者：
Huang, Shih-Cheng;Kothari, Tanay;Lungren, Matthew P.
通讯作者：
Lungren, Matthew P.
影响因子：
1.9
作者：
DELONG, ER;DELONG, DM;CLARKEPEARSON, DI
通讯作者：
CLARKEPEARSON, DI
影响因子：
2.9
作者：
Belkin, M;Niyogi, P
通讯作者：
Niyogi, P