Modality-agnostic self-supervised deep feature learning and fast instance optimisation for multimodal fusion in ultrasound-guided interventions
Modality-agnostic self-supervised deep feature learning and fast instance optimisation for multimodal fusion in ultrasound-guided interventions
复制标题
超声引导干预中多模态融合的模态不可知自监督深度特征学习和快速实例优化
DOI：
10.1016/j.cmpb.2021.106374
复制
发表时间：
2021
影响因子：
6.1
通讯作者：
Mattias P. Heinrich
中科院分区：
文献类型：
--
作者：
In Young Ha;Mattias P. Heinrich
背景和目的：术前MRI计划扫描与术中超声的快速而稳健的对准是自动支持图像引导干预的一个重要方面。到目前为止，基于学习的方法未能解决快速推理计算时间和对意外大运动和未对准的健壮性这两个相互交织的目标。在这项工作中，我们提出了一种新的方法，将深度特征学习和长距离局部位移概率图的计算与快速和稳健的全局变换预测解耦。方法：在我们的方法中，我们首先训练一个卷积神经网络(CNN)来在推理过程中提取两个3D体积的亚秒级计算时间的形态无关特征。使用基于稀疏性的网络权重剪枝，可以大大降低模型的复杂度和计算次数。基于这些特征，对三维运动矢量进行大范围的离散化搜索，以计算每个控制点的概率位移图。这些3D概率图被用于我们最新提出的计算高效的实例优化中，该实例优化稳健地估计最可能的全局线性变换，该变换最好地反映了受异常值拒绝的局部位移信念。结果：我们的实验验证在具有挑战性的奇怪的数据集上展示了最先进的准确性，平均目标配准误差为2.50 mm，模型大小仅为1.2M字节，运行时间约为。3秒即可完成全3D多模式注册。结论：我们发现通过实例优化可以显著提高精确度和鲁棒性，并且我们的快速自监督深度学习模型可以在仅3秒的时间内达到挑战注册任务的最高精度。
Background and Objective: Fast and robust alignment of pre-operative MRI planning scans to intra-operative ultrasound is an important aspect for automatically supporting image-guided interventions. Thus far, learning-based approaches have failed to tackle the intertwined objectives of fast inference computation time and robustness to unexpectedly large motion and misalignment. In this work, we propose a novel method that decouples deep feature learning and the computation of long ranging local displacement probability maps from fast and robust global transformation prediction. Methods: In our approach, we firstly train a convolutional neural network (CNN) to extract modality-agnostic features with sub-second computation times for both 3D volumes during inference. Using sparsity-based network weight pruning, the model complexity and computation times can be substantially reduced. Based on these features, a large discretized search range of 3D motion vectors is explored to compute a probabilistic displacement map for each control point. These 3D probability maps are employed in our newly proposed, computationally efficient, instance optimisation that robustly estimates the most likely globally linear transformation that best reflects the local displacement beliefs subject to outlier rejection. Results: Our experimental validation demonstrates state-of-the-art accuracy on the challenging CuRIOUS dataset with average target registration errors of 2.50 mm, model size of only 1.2 MByte and run times of approx. 3 seconds for a full 3D multimodal registration. Conclusion: We show that a significant improvement in accuracy and robustness can be gained with instance optimisation and our fast self-supervised deep learning model can achieve state-of-the-art accuracy on challenging registration task in only 3 seconds.
登录
查看更多内容
两秒内完成完全变形的 3D 图像配准
影响因子：
9.7
作者：
Daniel Budelmann;L. König;N. Papenberg;J. Lellmann
通讯作者：
J. Lellmann
影响因子：
8
作者：
Shen, Dinggang
通讯作者：
Shen, Dinggang
通过基于图像的配准和地标精度评估进行脑转移校正
DOI：
--
发表时间：
2018
期刊：
POCUS/BIVPCS/CuRIOUS/CPM@MICCAI
影响因子：
--
作者：
W. Wein
通讯作者：
W. Wein
DOI：
10.1007/978-3-030-33642-4_16
发表时间：
2019-10
期刊：
--
影响因子：
--
作者：
I. Ha;M. Heinrich
通讯作者：
I. Ha;M. Heinrich
将术中大脑转移视为模仿游戏
DOI：
--
发表时间：
2018
期刊：
POCUS/BIVPCS/CuRIOUS/CPM@MICCAI
影响因子：
--
作者：
X. Zhong;Siming Bayer;N. Ravikumar;Norbert Strobel;A. Birkhold;M. Kowarschik;R. Fahrig;A. Maier
通讯作者：
A. Maier