Towards Better Surgical Instrument Segmentation in Endoscopic Vision: Multi-Angle Feature Aggregation and Contour Supervision
Towards Better Surgical Instrument Segmentation in Endoscopic Vision: Multi-Angle Feature Aggregation and Contour Supervision
复制标题
在内窥镜视觉中实现更好的手术器械分割：多角度特征聚合和轮廓监督
DOI：
10.1109/lra.2020.3009073
复制
发表时间：
2020-02
影响因子：
5.2
通讯作者：
Blake Hannaford
中科院分区：
文献类型：
--
作者：
Fangbo Qin;Shan Lin;Yangming Li;R;all A. Bly;Kris S. Moe;Blake Hannaford
精确和实时的手术器械分割是机器人辅助手术内窥镜视觉中的重要问题，器械与组织的频繁接触和观察视角的不断变化给手术器械分割带来了巨大挑战。近年来，越来越多的深度神经网络（DNN）模型被设计用于这些具有挑战性的任务。我们的动机是提出一种通用的嵌入式方法来改进这些当前的DNN分割模型，而不增加模型参数数量。首先，观察DNN有限的旋转不变性性能，我们提出了多角度特征聚合（MAFA）方法，利用主动图像旋转来获得更丰富的视觉线索，并使预测对仪器方向变化更具鲁棒性。其次，在端到端训练阶段，利用辅助轮廓监督引导模型学习边界意识，使分割模板的轮廓形状更加精确。所提出的方法进行了验证与消融实验的新鼻窦手术数据集收集从外科医生的操作，并与现有的方法相比，收集与da芬奇Xi机器人的公共数据集。
Accurate and real-time surgical instrument segmentation is important in the endoscopic vision of robot-assisted surgery, and significant challenges are posed by frequent instrument-tissue contacts and continuous change of observation perspective. For these challenging tasks more and more deep neural networks (DNN) models are designed in recent years. We are motivated to propose a general embeddable approach to improve these current DNN segmentation models without increasing the model parameter number. Firstly, observing the limited rotation-invariance performance of DNN, we proposed the Multi-Angle Feature Aggregation (MAFA) method, leveraging active image rotation to gain richer visual cues and make the prediction more robust to instrument orientation changes. Secondly, in the end-to-end training stage, the auxiliary contour supervision is utilized to guide the model to learn the boundary awareness, so that the contour shape of segmentation mask is more precise. The proposed method is validated with ablation experiments on the novel Sinus-Surgery datasets collected from surgeons’ operations, and is compared to the existing methods on a public dataset collected with a da Vinci Xi Robot.
登录
查看更多内容
DOI：
--
发表时间：
2019
期刊：
--
影响因子：
--
作者：
Aayush Mishra;Suraj Kumar;Aditya Nigam;Saiful Islam
通讯作者：
Aayush Mishra;Suraj Kumar;Aditya Nigam;Saiful Islam
影响因子：
5.2
作者：
Islam, Mobarakol;Atputharuban, Daniel Anojan;Ren, Hongliang
通讯作者：
Ren, Hongliang
DOI：
--
发表时间：
2019-11
期刊：
ArXiv
影响因子：
--
作者：
Haiyang Si;Zhiqiang Zhang;Feifan Lv;Gang Yu;Feng Lu
通讯作者：
Haiyang Si;Zhiqiang Zhang;Feifan Lv;Gang Yu;Feng Lu
DOI：
10.1109/icra.2019.8794122
发表时间：
2019-05
期刊：
2019 International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Fangbo Qin;Yangming Li;Yun-Hsuan Su;De Xu;B. Hannaford
通讯作者：
Fangbo Qin;Yangming Li;Yun-Hsuan Su;De Xu;B. Hannaford
DOI：
10.1007/978-3-030-64340-9_15
发表时间：
2018-01
期刊：
ArXiv
影响因子：
--
作者：
V. Iglovikov;Alexey A. Shvets
通讯作者：
V. Iglovikov;Alexey A. Shvets