Local Style Preservation in Improved GAN-Driven Synthetic Image Generation for Endoscopic Tool Segmentation.
Local Style Preservation in Improved GAN-Driven Synthetic Image Generation for Endoscopic Tool Segmentation.
复制标题
用于内窥镜工具分割的改进GAN驱动合成图像生成中的局部风格保持。
DOI：
10.3390/s21155163
复制
发表时间：
2021-07-30
期刊：
影响因子：
--
通讯作者：
Hannaford B
中科院分区：
文献类型：
--
作者：
Su YH;Jiang W;Chitrakar D;Huang K;Peng H;Hannaford B
来自医学成像的精确语义图像分割可以在机器人辅助微创手术中实现基于智能视觉的辅助。人体和外科手术是高度动态的。虽然机器视觉提供了一种有前途的方法，但足够大的训练图像集来实现稳健的性能要么成本高昂，要么无法获得。这项工作研究了三种新颖的生成对抗网络（GAN）方法，仅使用手术背景图像和一些真实的工具图像来提供可用的合成工具图像。这三种新颖方法中最好的一种通过将风格保留和内容丢失组件合并到所提出的多级损失函数中，生成逼真的工具纹理，同时保留本地背景内容。该方法经过定量评估，结果表明综合生成的训练工具图像增强了 UNet 工具分割性能。更具体地说，使用来自华盛顿大学窦数据集的随机 100 具尸体和实时内窥镜图像，使用所提出的方法使用合成生成的图像进行训练的 UNet 在平均 Dice 系数和 Intersection over Union 分数方面比使用纯真实图像分别提高了 35.7% 和 30.6%。这项研究有望使用更广泛使用的常规筛查内窥镜来术前生成用于术中 UNet 工具分割的合成训练工具图像。
Accurate semantic image segmentation from medical imaging can enable intelligent vision-based assistance in robot-assisted minimally invasive surgery. The human body and surgical procedures are highly dynamic. While machine-vision presents a promising approach, sufficiently large training image sets for robust performance are either costly or unavailable. This work examines three novel generative adversarial network (GAN) methods of providing usable synthetic tool images using only surgical background images and a few real tool images. The best of these three novel approaches generates realistic tool textures while preserving local background content by incorporating both a style preservation and a content loss component into the proposed multi-level loss function. The approach is quantitatively evaluated, and results suggest that the synthetically generated training tool images enhance UNet tool segmentation performance. More specifically, with a random set of 100 cadaver and live endoscopic images from the University of Washington Sinus Dataset, the UNet trained with synthetically generated images using the presented method resulted in 35.7% and 30.6% improvement over using purely real images in mean Dice coefficient and Intersection over Union scores, respectively. This study is promising towards the use of more widely available and routine screening endoscopy to preoperatively generate synthetic training tool images for intraoperative UNet tool segmentation.
登录
查看更多内容
影响因子：
10.9
作者：
Heinrich, Mattias P.;Oktay, Ozan;Bouteldja, Nassim
通讯作者：
Bouteldja, Nassim
影响因子：
6.1
作者：
Curiale, Ariel H.;Colavecchia, Flavio D.;Mato, German
通讯作者：
Mato, German
DOI：
10.3390/s21062027
发表时间：
2021-03-12
期刊：
Sensors (Basel, Switzerland)
影响因子：
--
作者：
Ciecholewski M;Kassjański M
通讯作者：
Kassjański M
CE-Net：用于 2D 医学图像分割的上下文编码器网络
影响因子：
10.6
作者：
Gu, Zaiwang;Cheng, Jun;Liu, Jiang
通讯作者：
Liu, Jiang
DOI：
10.4293/jsls.2017.00081
发表时间：
2018-01
期刊：
JSLS : Journal of the Society of Laparoendoscopic Surgeons
影响因子：
--
作者：
Hertz AM;George EI;Vaccaro CM;Brand TC
通讯作者：
Brand TC