Upsampling of low-resolution/large-volume 3D tomographic images using generative adversarial neural networks applied to biological anthropology, medical imaging, and evolutionary biology

使用应用于生物人类学、医学成像和进化生物学的生成对抗神经网络对低分辨率/大容量 3D 断层扫描图像进行上采样

基本信息

  • 批准号:
    571519-2021
  • 负责人:
  • 金额:
    $ 3.28万
  • 依托单位:
  • 依托单位国家:
    加拿大
  • 项目类别:
    Alliance Grants
  • 财政年份:
    2021
  • 资助国家:
    加拿大
  • 起止时间:
    2021-01-01 至 2022-12-31
  • 项目状态:
    已结题

项目摘要

'It is vital to remember that information is not knowledge, that knowledge is not wisdom, and that wisdom is not foresight. But information is the first essential step to all of these', Sir Arthur C. Clarke.Large-volume versus high-resolution information is an inherent conundrum in all domains of research that rely on imaging; you can achieve either one, or the other, but never both. The incentives to increase resolution while keeping large context are many, from comprehensive analysis of basic biological phenomena, to maintaining radiation safety standards in imaging, to preserving the integrity of rare specimens of cultural value. However, extrapolating nonexisting spatial information has always been an ill-posed problem because its solution is not unique ' until now with the application of deep learning using neural networks. Although there is ample literature on upscaling single images using super-resolution convolutional neural networks (CNN), recurrent neural networks (RNN) or generative adversarial networks (GAN), most algorithms are designed for (and validated on) synthetically downsampled 2D images. Here we merge expertise in deep learning, tomographic X-ray imaging, biomineralization, biological anthropology, and dental radiology to design and validate an open-ended upsampling algorithm using 3D images of historical (ancient mummies), clinical (dental cone-beam computed tomography) and basic science (bird eggshell) samples. Unique to our project is the availability of original multi-scale 3D image sets that span multiple resolution/volume scales and which can be accurately superimposed (registered) in 3D, and can be expertly segmented (having meaningful features identified and assigned to the target class on a voxel basis). Images are hierarchical, meaning that the neighborhood of local features is as important as the features themselves; indeed, that is the basis of the CNN operation which identifies and labels features based on their context (and the context of context). GANs include a generator algorithm that constructs artificial features, and a discriminator algorithm that compares artificial and true features: iteration of the two leads to convergence, and to construction of realistic artificial spatial information. By applying GAN-CNN to a low-resolution/large-volume image using a high-resolution/low-volume image as ground truth, we will achieve 3D image upsampling ×n. To circumvent the inevitable increase of the data size (×n3) we will implement a parallel segmentation algorithm that reduces voxel depth, because the ultimate objective is the segmentation of upsampled images. Finally, we will explore the limit of image upsampling in 3D using registered series 3D images of ancient mummies, bird eggshells and human craniofacial complex, acquired at multiple magnifications. This open-ended study will bring biological anthropology, zoology and clinical radiology towards the new tier in bioimaging and 3D image analysis.
“重要的是要记住,信息不是知识,知识不是智慧,智慧不是远见。但信息是所有这些的第一个重要步骤“,亚瑟C爵士。在所有依赖成像的研究领域,大容量信息与高分辨率信息是一个固有的难题;你可以实现其中一个,或者另一个,但永远不会两者兼而有之。在保持大背景的同时提高分辨率的动机有很多,从基本生物现象的综合分析,到保持成像的辐射安全标准,再到保护具有文化价值的稀有标本的完整性。然而,外推不存在的空间信息一直是一个不适定的问题,因为它的解决方案不是唯一的,直到现在使用神经网络的深度学习的应用。虽然有大量文献使用超分辨率卷积神经网络(CNN),递归神经网络(RNN)或生成对抗网络(GAN)来放大单个图像,但大多数算法都是针对合成下采样的2D图像设计的(并在其上进行验证)。在这里,我们融合了深度学习,断层X射线成像,生物矿化,生物人类学和牙科放射学的专业知识,使用历史(古代木乃伊),临床(牙科锥形束计算机断层扫描)和基础科学(鸟蛋)样本的3D图像设计和验证开放式上采样算法。我们的项目的独特之处在于原始多尺度3D图像集的可用性,这些图像集跨越多个分辨率/体积尺度,可以在3D中准确叠加(配准),并且可以专业地分割(具有有意义的特征,并在体素基础上分配给目标类)。图像是分层的,这意味着局部特征的邻域与特征本身一样重要;事实上,这是CNN操作的基础,CNN操作根据特征的上下文(以及上下文的上下文)识别和标记特征。GAN包括一个构造人工特征的生成器算法,以及一个比较人工特征和真实特征的递归算法:两者的迭代导致收敛,并构造真实的人工空间信息。通过将GAN-CNN应用于低分辨率/大体积图像,使用高分辨率/低体积图像作为基础事实,我们将实现3D图像上采样×n。为了避免不可避免的数据大小增加(×n3),我们将实现一种并行分割算法,减少体素深度,因为最终目标是上采样图像的分割。 最后,我们将探索在3D图像上采样的限制,使用注册的系列3D图像的古木乃伊,鸟类蛋壳和人类颅面复杂,在多个放大倍数。这项开放式研究将把生物人类学、动物学和临床放射学带入生物成像和3D图像分析的新层次。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Reznikov, Natalie其他文献

The design and in vivo testing of a locally stiffness-matched porous scaffold
  • DOI:
    10.1016/j.apmt.2019.02.017
  • 发表时间:
    2019-06-01
  • 期刊:
  • 影响因子:
    8.3
  • 作者:
    Ghouse, Shaaz;Reznikov, Natalie;Jeffers, Jonathan R. T.
  • 通讯作者:
    Jeffers, Jonathan R. T.
Inter-trabecular angle: A parameter of trabecular bone architecture in the human proximal femur that reveals underlying topological motifs
  • DOI:
    10.1016/j.actbio.2016.08.040
  • 发表时间:
    2016-10-15
  • 期刊:
  • 影响因子:
    9.7
  • 作者:
    Reznikov, Natalie;Chase, Hila;Weiner, Steve
  • 通讯作者:
    Weiner, Steve
The three-dimensional structure of anosteocytic lamellated bone of fish
  • DOI:
    10.1016/j.actbio.2014.10.025
  • 发表时间:
    2015-02-01
  • 期刊:
  • 影响因子:
    9.7
  • 作者:
    Atkins, Ayelet;Reznikov, Natalie;Shahar, Ron
  • 通讯作者:
    Shahar, Ron
Three-dimensional structure of human lamellar bone: The presence of two different materials and new insights into the hierarchical organization
  • DOI:
    10.1016/j.bone.2013.10.023
  • 发表时间:
    2014-02-01
  • 期刊:
  • 影响因子:
    4.1
  • 作者:
    Reznikov, Natalie;Shahar, Ron;Weiner, Steve
  • 通讯作者:
    Weiner, Steve
Individual response variations in scaffold-guided bone regeneration are determined by independent strain- and injury-induced mechanisms
  • DOI:
    10.1016/j.biomaterials.2018.11.026
  • 发表时间:
    2019-02-01
  • 期刊:
  • 影响因子:
    14
  • 作者:
    Reznikov, Natalie;Boughton, Oliver R.;Stevens, Molly M.
  • 通讯作者:
    Stevens, Molly M.

Reznikov, Natalie的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Reznikov, Natalie', 18)}}的其他基金

Osmotic and functional determinants of skeletal biomechanics
骨骼生物力学的渗透和功能决定因素
  • 批准号:
    RGPIN-2021-02658
  • 财政年份:
    2022
  • 资助金额:
    $ 3.28万
  • 项目类别:
    Discovery Grants Program - Individual
Osmotic and functional determinants of skeletal biomechanics
骨骼生物力学的渗透和功能决定因素
  • 批准号:
    RGPIN-2021-02658
  • 财政年份:
    2021
  • 资助金额:
    $ 3.28万
  • 项目类别:
    Discovery Grants Program - Individual
Osmotic and functional determinants of skeletal biomechanics
骨骼生物力学的渗透和功能决定因素
  • 批准号:
    DGECR-2021-00205
  • 财政年份:
    2021
  • 资助金额:
    $ 3.28万
  • 项目类别:
    Discovery Launch Supplement

相似国自然基金

MSCEN聚集体抑制CD127low单核细胞铜死亡治疗SLE 的机制研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
脐带间充质干细胞微囊联合低能量冲击波治疗神经损伤性ED的机制研究
  • 批准号:
    82371631
  • 批准年份:
    2023
  • 资助金额:
    49.00 万元
  • 项目类别:
    面上项目
Ni-20Cr合金梯度纳米结构的低温构筑及其腐蚀行为研究
  • 批准号:
    52301123
  • 批准年份:
    2023
  • 资助金额:
    30.00 万元
  • 项目类别:
    青年科学基金项目
LIPUS促进微环境巨噬细胞释放CCL2诱导尿道周围平滑肌祖细胞定植与分化的机制研究
  • 批准号:
    82370780
  • 批准年份:
    2023
  • 资助金额:
    49.00 万元
  • 项目类别:
    面上项目
新型PDL1+CXCR2low中性粒细胞在脉络膜新生血管中的作用及机制研究
  • 批准号:
    82271095
  • 批准年份:
    2022
  • 资助金额:
    56 万元
  • 项目类别:
    面上项目
CD9+CD55low脂肪前体细胞介导高脂诱导脂肪组织炎症和2型糖尿病的作用和机制研究
  • 批准号:
    82270883
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
    面上项目
CD21low/-CD23-B细胞亚群在间质干细胞治疗慢性移植物抗宿主病中的作用机制研究
  • 批准号:
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
    面上项目
探究Msi1+Lgr5neg/low肠道干细胞抵抗辐射并驱动肠上皮再生的新机制
  • 批准号:
    82270588
  • 批准年份:
    2022
  • 资助金额:
    52 万元
  • 项目类别:
    面上项目
m6A去甲基化酶FTO通过稳定BRD9介导表观重塑在HIF2α(low/-)肾透明细胞癌中的作用机制研究
  • 批准号:
  • 批准年份:
    2021
  • 资助金额:
    54.7 万元
  • 项目类别:
    面上项目

相似海外基金

Atomistic reconstruction of large biomolecular systems from low-resolution cryo-electron microscopy data - RECKON
利用低分辨率冷冻电子显微镜数据原子重建大型生物分子系统 - RECKON
  • 批准号:
    EP/Y010221/1
  • 财政年份:
    2024
  • 资助金额:
    $ 3.28万
  • 项目类别:
    Fellowship
CAREER: Computation-efficient Resolution for Low-Carbon Grids with Renewables and Energy Storage
职业:可再生能源和能源存储低碳电网的计算高效解决方案
  • 批准号:
    2340095
  • 财政年份:
    2024
  • 资助金额:
    $ 3.28万
  • 项目类别:
    Continuing Grant
Role of Creatine Metabolism in Necrotizing Enterocolitis
肌酸代谢在坏死性小肠结肠炎中的作用
  • 批准号:
    10724729
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Leptospira prevalence, cycling, and infection in the peridomestic environment
家庭周围环境中钩端螺旋体的流行、循环和感染
  • 批准号:
    10735030
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Improving Age- and Cause-Specific Under-Five Mortality Rates (ACSU5MR) by Systematically Accounting Measurement Errors to Inform Child Survival Decision Making in Low Income Countries
通过系统地核算测量误差来改善特定年龄和特定原因的五岁以下死亡率 (ACSU5MR),为低收入国家的儿童生存决策提供信息
  • 批准号:
    10585388
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Low-Dose Magneto-Thrombolysis to Expand Stroke Care
低剂量磁溶栓扩大中风治疗范围
  • 批准号:
    10693650
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Low-Cost, Single-Use Trans-Nasal Cryotherapy Device for Low-Resource Settings
适用于资源匮乏环境的低成本、一次性经鼻冷冻治疗设备
  • 批准号:
    10761295
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Understanding the synergistic roles of water insecurity and food insecurity in the health of Mexican adults
了解水不安全和粮食不安全对墨西哥成年人健康的协同作用
  • 批准号:
    10647464
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Perfluoroalkyl substances and non-alcoholic fatty liver disease in children: Leveraging magnetic resonance imaging to unravel potential mechanisms and exposure mixture effects
全氟烷基物质与儿童非酒精性脂肪肝:利用磁共振成像揭示潜在机制和暴露混合物效应
  • 批准号:
    10646759
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
Neurovascular calcification, Alzheimer’s disease and related dementias in two Native South American populations
两个南美原住民人群的神经血管钙化、阿尔茨海默病和相关痴呆症
  • 批准号:
    10662151
  • 财政年份:
    2023
  • 资助金额:
    $ 3.28万
  • 项目类别:
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了