Neural networks for joint modelling of medical images and radiology reports

用于医学图像和放射学报告联合建模的神经网络

基本信息

  • 批准号:
    2722264
  • 负责人:
  • 金额:
    --
  • 依托单位:
  • 依托单位国家:
    英国
  • 项目类别:
    Studentship
  • 财政年份:
    2022
  • 资助国家:
    英国
  • 起止时间:
    2022 至 无数据
  • 项目状态:
    未结题

项目摘要

Neural networks have achieved remarkable results for medical image analysis with potential to facilitate healthcare. Examples of common tasks where these models are applied include classification and segmentation of pathology in X-rays, CT and MRI. Image-only models have various limitations. For example, they can only learn from manual annotations made for an image, such the drawn outline of a pathology, which are limited because making them is expensive, time-consuming and requires clinical expertise. Learning from this limited data leads to models with suboptimal generalization. Moreover, models cannot explain the reason for making a prediction, as they have no mechanism of "communicating" with the human user.In clinical practice, a radiologist produces a written report in natural language, describing contents of a medical image. Such a report can describe what pathology exists, its location, approximate size, appearance, and more. These reports are produced daily in large quantities in every Radiology department and hold rich information about the corresponding images and pathologies therein. Current generation of machine learning models, however, cannot exploit this wealth of data adequately. Aim and ObjectivesAim of this project is to develop neural networks that can jointly process and learn from medical images and corresponding written radiology reports. Specifically, we will develop learning frameworks and models that are able to:a) Process an input image and automatically generate text that describes its contents. This automatically generated report can be invaluable for accelerating radiology workflows.b) Use information from written reports to learn how to detect a pathology in an image. The information from the numerous radiology reports will be combined with information from a smaller database of manually annotated images (e.g. drawn outlines of pathologies) to train disease detection models that are more potent than the current generation of models, which can only learn from the limited manual annotations.c) Jointly modelling images and language will give models the capability to explain their predictions. Such models will be able to use natural language to describe to a human why a specific prediction is made about disease segmentation, and vice versa.Importance and Contributions to KnowledgeThis project falls within the EPSRC Medical Imaging research area and the Healthcare Technologies theme.The proposed research will generate novel techniques for jointly modelling visual and textual information from medical databases, an area where current generation of algorithms is still inadequate. Such models will be able to extract wealth of information from routinely produced radiology reports to learn how to better detect pathologies in medical scans. When these models make a prediction for the existence of a pathology in a new scan, these models will also be able to generate explanations for their prediction in natural language that can be easily interpreted by the human user. These mechanisms will enhance predictive performance and explainability of the models, factors that are necessary for reliable adoption of such tools in clinical workflows.
神经网络在医学图像分析方面取得了显著的成果,具有促进医疗保健的潜力。应用这些模型的常见任务包括x射线、CT和MRI中的病理分类和分割。纯映像模型有各种限制。例如,它们只能从为图像绘制的手动注释中学习,例如绘制病理轮廓,这是有限的,因为制作它们昂贵,耗时且需要临床专业知识。从这些有限的数据中学习导致模型泛化欠佳。此外,模型不能解释做出预测的原因,因为它们没有与人类用户“沟通”的机制。在临床实践中,放射科医生用自然语言编写书面报告,描述医学图像的内容。这样的报告可以描述存在的病理,其位置,大致大小,外观等。这些报告每天在每个放射科大量生成,并包含相应图像和病理的丰富信息。然而,当前一代的机器学习模型无法充分利用这些丰富的数据。目的和目的本项目的目的是开发能够共同处理和学习医学图像和相应的书面放射学报告的神经网络。具体来说,我们将开发能够:a)处理输入图像并自动生成描述其内容的文本的学习框架和模型。这种自动生成的报告对于加速放射学工作流程是非常宝贵的。b)使用书面报告中的信息来学习如何检测图像中的病理。来自大量放射学报告的信息将与来自较小的人工注释图像数据库(例如绘制的病理轮廓)的信息相结合,以训练比当前一代模型更有效的疾病检测模型,这些模型只能从有限的人工注释中学习。c)联合建模图像和语言将使模型能够解释其预测。这样的模型将能够使用自然语言向人类描述为什么要对疾病分割做出特定的预测,反之亦然。该项目属于EPSRC医学成像研究领域和医疗保健技术主题。拟议的研究将产生新的技术,用于联合建模医学数据库中的视觉和文本信息,这是当前一代算法仍然不足的领域。这样的模型将能够从常规生成的放射学报告中提取丰富的信息,以学习如何更好地检测医学扫描中的病理。当这些模型在新的扫描中对病理的存在做出预测时,这些模型也能够用自然语言为他们的预测生成解释,这些解释可以很容易地被人类用户解释。这些机制将提高模型的预测性能和可解释性,这些因素是在临床工作流程中可靠采用此类工具所必需的。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

其他文献

吉治仁志 他: "トランスジェニックマウスによるTIMP-1の線維化促進機序"最新医学. 55. 1781-1787 (2000)
Hitoshi Yoshiji 等:“转基因小鼠中 TIMP-1 的促纤维化机制”现代医学 55. 1781-1787 (2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
LiDAR Implementations for Autonomous Vehicle Applications
  • DOI:
  • 发表时间:
    2021
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
生命分子工学・海洋生命工学研究室
生物分子工程/海洋生物技术实验室
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
吉治仁志 他: "イラスト医学&サイエンスシリーズ血管の分子医学"羊土社(渋谷正史編). 125 (2000)
Hitoshi Yoshiji 等人:“血管医学与科学系列分子医学图解”Yodosha(涉谷正志编辑)125(2000)。
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:
Effect of manidipine hydrochloride,a calcium antagonist,on isoproterenol-induced left ventricular hypertrophy: "Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,K.,Teragaki,M.,Iwao,H.and Yoshikawa,J." Jpn Circ J. 62(1). 47-52 (1998)
钙拮抗剂盐酸马尼地平对异丙肾上腺素引起的左心室肥厚的影响:“Yoshiyama,M.,Takeuchi,K.,Kim,S.,Hanatani,A.,Omura,T.,Toda,I.,Akioka,
  • DOI:
  • 发表时间:
  • 期刊:
  • 影响因子:
    0
  • 作者:
  • 通讯作者:

的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('', 18)}}的其他基金

An implantable biosensor microsystem for real-time measurement of circulating biomarkers
用于实时测量循环生物标志物的植入式生物传感器微系统
  • 批准号:
    2901954
  • 财政年份:
    2028
  • 资助金额:
    --
  • 项目类别:
    Studentship
Exploiting the polysaccharide breakdown capacity of the human gut microbiome to develop environmentally sustainable dishwashing solutions
利用人类肠道微生物群的多糖分解能力来开发环境可持续的洗碗解决方案
  • 批准号:
    2896097
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
A Robot that Swims Through Granular Materials
可以在颗粒材料中游动的机器人
  • 批准号:
    2780268
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Likelihood and impact of severe space weather events on the resilience of nuclear power and safeguards monitoring.
严重空间天气事件对核电和保障监督的恢复力的可能性和影响。
  • 批准号:
    2908918
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Proton, alpha and gamma irradiation assisted stress corrosion cracking: understanding the fuel-stainless steel interface
质子、α 和 γ 辐照辅助应力腐蚀开裂:了解燃料-不锈钢界面
  • 批准号:
    2908693
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Field Assisted Sintering of Nuclear Fuel Simulants
核燃料模拟物的现场辅助烧结
  • 批准号:
    2908917
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Assessment of new fatigue capable titanium alloys for aerospace applications
评估用于航空航天应用的新型抗疲劳钛合金
  • 批准号:
    2879438
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
CDT year 1 so TBC in Oct 2024
CDT 第 1 年,预计 2024 年 10 月
  • 批准号:
    2879865
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Developing a 3D printed skin model using a Dextran - Collagen hydrogel to analyse the cellular and epigenetic effects of interleukin-17 inhibitors in
使用右旋糖酐-胶原蛋白水凝胶开发 3D 打印皮肤模型,以分析白细胞介素 17 抑制剂的细胞和表观遗传效应
  • 批准号:
    2890513
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship
Understanding the interplay between the gut microbiome, behavior and urbanisation in wild birds
了解野生鸟类肠道微生物组、行为和城市化之间的相互作用
  • 批准号:
    2876993
  • 财政年份:
    2027
  • 资助金额:
    --
  • 项目类别:
    Studentship

相似国自然基金

Lagrange网络实用同步的不连续控制研究
  • 批准号:
    61603174
  • 批准年份:
    2016
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
基于隐半马尔科夫模型的无线传感器网络入侵检测系统研究
  • 批准号:
    61101083
  • 批准年份:
    2011
  • 资助金额:
    25.0 万元
  • 项目类别:
    青年科学基金项目
活化的星形胶质细胞网络参与脑缺血后神经元损伤的机制研究
  • 批准号:
    81000491
  • 批准年份:
    2010
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
面向认知网络的自律计算模型及评价方法研究
  • 批准号:
    60973027
  • 批准年份:
    2009
  • 资助金额:
    30.0 万元
  • 项目类别:
    面上项目
多跳无线 MESH 网络中 QoS 保障算法的研究设计和性能分析
  • 批准号:
    60902041
  • 批准年份:
    2009
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
红外高光谱分辨率卫星遥感大气参数反演研究
  • 批准号:
    40475016
  • 批准年份:
    2004
  • 资助金额:
    10.0 万元
  • 项目类别:
    面上项目
军民两用即兴网(Ad Hoc Networks)的研究
  • 批准号:
    60372093
  • 批准年份:
    2003
  • 资助金额:
    26.0 万元
  • 项目类别:
    面上项目

相似海外基金

Synergistic joint variational neural networks for PET-MR image reconstruction with generative modelling priors
利用生成建模先验进行 PET-MR 图像重建的协同联合变分神经网络
  • 批准号:
    2269756
  • 财政年份:
    2019
  • 资助金额:
    --
  • 项目类别:
    Studentship
Joint Text Understanding and Coreference Resolution: Augmenting Recurrent Neural Networks with Entity-Centric Discourse Memory
联合文本理解和共指解析:用以实体为中心的话语记忆增强循环神经网络
  • 批准号:
    1895643
  • 财政年份:
    2017
  • 资助金额:
    --
  • 项目类别:
    Studentship
Neural Representation of Reach-to-Grasp for Cortical FES Neuroprostheses
皮质 FES 神经假体的触手可及的神经表征
  • 批准号:
    8838222
  • 财政年份:
    2012
  • 资助金额:
    --
  • 项目类别:
Neural Representation of Reach-to-Grasp for Cortical FES Neuroprostheses
皮质 FES 神经假体的触手可及的神经表征
  • 批准号:
    8278391
  • 财政年份:
    2012
  • 资助金额:
    --
  • 项目类别:
Neural Representation of Reach-to-Grasp for Cortical FES Neuroprostheses
皮质 FES 神经假体的触手可及的神经表征
  • 批准号:
    8495813
  • 财政年份:
    2012
  • 资助金额:
    --
  • 项目类别:
From Brains to Machines: A Special Program at the 2011 International Joint Conference on Neural Networks
从大脑到机器:2011年国际神经网络联合会议特别议程
  • 批准号:
    1110883
  • 财政年份:
    2011
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
U.S.-Egypt Joint Cooperative Research: Diagnosis and Maintenance of Relay Ladder Logic programs and PLC Ladder Logic Diagrams Using Artificial Neural Networks
美埃联合合作研究:利用人工神经网络诊断和维护继电器梯形逻辑程序和PLC梯形逻辑图
  • 批准号:
    0515701
  • 财政年份:
    2005
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
SBIR Phase II: Robust, Intelligent and Practical Face Recognition Based on Optical Joint Transform Correlation and Neural Networks
SBIR第二期:基于光学联合变换相关和神经网络的鲁棒、智能、实用的人脸识别
  • 批准号:
    9983308
  • 财政年份:
    2000
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
SBIR Phase I: Robust, Intelligent and Practical Face Recognition Based on Optical Joint Transform Correlation and Neural Networks
SBIR第一期:基于光学联合变换相关和神经网络的鲁棒、智能、实用的人脸识别
  • 批准号:
    9761141
  • 财政年份:
    1998
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
Sian Ka'an 97 Second Joint Mexico-US International Workshop on Neural Networks and Neurocontrol, August 19-29, 1997, Playa del Carmen, Quintana Roo, Mexico
Sian Kaan 97 第二届墨西哥-美国神经网络和神经控制国际联合研讨会,1997 年 8 月 19-29 日,墨西哥金塔纳罗奥州普拉亚德尔卡门
  • 批准号:
    9727257
  • 财政年份:
    1997
  • 资助金额:
    --
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了