High-resolution Rectified Gradient-based Visual Explanations for Weakly Supervised Segmentation
High-resolution Rectified Gradient-based Visual Explanations for Weakly Supervised Segmentation
复制标题
弱监督分割的基于高分辨率校正梯度的视觉解释
DOI：
10.1016/j.patcog.2022.108724
复制
发表时间：
2022-04
影响因子：
8
通讯作者：
Xiaotian Lin
中科院分区：
文献类型：
--
作者：
Tianyou Zheng;Qiang Wang;Yue Shen;Xiang Ma;Xiaotian Lin
卷积神经网络 (CNN) 的视觉解释充当具有图像级标签的弱监督分割的支柱。本文提出了一种带有边界框注释（bbox）的基于高分辨率校正梯度的类激活映射，以改进弱监督分割（WSS）任务的初始种子。 HRCAM 通过将梯度图与浅层的类激活图分离来扩展 Grad-CAM，以获得更高分辨率。提出了梯度校正方法来提高可视化和 WSS 分数。通过实验和评估来验证 HRCAM-BB 在 Pascal VOC 2012 和 COCO 数据集上的性能。在 Pascal VOC 2012 集上，我们的方法取得了出色的性能，在 WSSS 上，图像级标签的平均交并集 (mIOU) 为 71.6，bbox 为 78.2，并且使用图像级标签将 WSIS mIOU (AP 50) 提高到 52.1，使用 bbox 提高到 61.9。我们的方法在相同条件下超越了之前的 SOTA 方法。
Visual explanations for convolutional neural networks (CNNs) act as the backbone for weakly supervised segmentation with image-level labels. This paper proposes a high-resolution rectified gradient-based class activation mapping with bounding box annotations (bbox) to improve the initial seed for weakly supervised segmentation (WSS) tasks. HRCAM extends Grad-CAM by separating the gradient maps from the class activation maps from the shallow layer for higher resolution. Gradient rectified methods are proposed to improve the visualization and WSS score. Experiments and evaluations are conducted to verify the performance of HRCAM-BB on Pascal VOC 2012 and COCO datasets. On Pascal VOC 2012 set, our method achieves outstanding performance with a mean intersection over union (mIOU) of 71.6 with image-level labels and 78.2 with bbox on WSSS, and increases the WSIS mIOU (AP 50) to 52.1 with image-level labels, and 61.9 with bbox. our method surpasses the previous SOTA approach in the same condition.
登录
查看更多内容
影响因子：
19.5
作者：
Russakovsky, Olga;Deng, Jia;Fei-Fei, Li
通讯作者：
Fei-Fei, Li
影响因子：
8
作者：
Wu, Zifeng;Shen, Chunhua;van den Hengel, Anton
通讯作者：
van den Hengel, Anton
影响因子：
19.5
作者：
Selvaraju, Ramprasaath R.;Cogswell, Michael;Batra, Dhruv
通讯作者：
Batra, Dhruv
DOI：
10.1109/tpami.2016.2572683
发表时间：
2017-04-01
影响因子：
23.6
作者：
Shelhamer, Evan;Long, Jonathan;Darrell, Trevor
通讯作者：
Darrell, Trevor
影响因子：
19.5
作者：
Everingham, Mark;Eslami, S. M. Ali;Zisserman, Andrew
通讯作者：
Zisserman, Andrew