CSF: Closed-mask-guided semantic fusion method for semantic perception of unknown scenes
CSF: Closed-mask-guided semantic fusion method for semantic perception of unknown scenes
复制标题
CSF：用于未知场景语义感知的封闭掩模引导语义融合方法
DOI：
10.1016/j.patrec.2022.07.020
复制
发表时间：
2022-08
影响因子：
5.1
通讯作者：
Xiaolin Zhang
中科院分区：
文献类型：
--
作者：
Minghong Chen;Ruijun Shu;Dongchen Zhu;Jiamao Li;Xiaolin Zhang
·用于优化语义分割结果的掩码引导语义融合方法。·用于边缘检测算法的后处理的闭合掩模生成（CEG）模块。·语义置信度融合（SCF）模块，用于融合语义分割结果。·该方法不需要预先获得目标数据。·该方法已在两个场景中得到验证。虽然已经提出了许多高精度的语义分割模型，但如何提高这些模型的泛化能力仍然是一个亟待解决的问题。近年来，大量的无监督领域自适应（UDA）算法围绕领域自适应问题在语义分割中得到了研究。这些方法需要标记的源域数据和未标记的目标域数据。在本文中，我们提出了一个封闭的掩模引导的语义融合方法（CSF），以改善未知场景的语义分割结果，其中目标领域的数据是没有预先获得。首先，设计了一个闭合掩模生成模块（CMG），将边缘检测结果转换为掩模，将图像分割成若干图像块。然后，提出了一种基于信息熵和投票方法的语义置信度融合（SCF）模块，通过比较多个语义分割网络的置信度，为每个图像块选择可靠的语义分割结果。在KITTI和COCO Stuff数据集上的实验结果验证了该方法的有效性。该代码可在https://github.com/tryhere/CSF上公开获取。
• A mask-guided semantic fusion method for optimizing the results of semantic segmentation. • A closed mask generation (CEG) module for post-processing of the edge detection algorithm. • A semantic confidence fusion (SCF) module to fuse the semantic segmentation results. • This method does not need to obtain the target data in advance. • This method has been verified in two scenarios. Though many high-precision semantic segmentation models have been proposed, how to improve the generalization ability of these models is still an urgent problem. Recently, a great number of unsupervised domain adaptation (UDA) algorithms around domain adaptation problems have been studied in semantic segmentation. These methods require labeled source domain data and unlabeled target domain data. In this paper, we propose a closed-mask-guided semantic fusion method (CSF) to improve the semantic segmentation results of unknown scenes, where the target domain data is not obtained in advance. First, a Closed Mask Generation (CMG) module is designed to convert the edge detection result into a mask that can segment the image into several image blocks. Then, a Semantic Confidence Fusion (SCF) module based on information entropy and voting method is introduced, which can select reliable semantic segmentation results for each image block by comparing the confidence of several semantic segmentation networks . In addition, the experimental results on both KITTI and COCO Stuff datasets validate the effectiveness of this method. The code is publicly available at https://github.com/tryhere/CSF .
登录
查看更多内容
DOI：
10.1109/icra.2018.8460962
发表时间：
2017-09
期刊：
2018 IEEE International Conference on Robotics and Automation (ICRA)
影响因子：
--
作者：
Andres Milioto;Philipp Lottes;C. Stachniss
通讯作者：
Andres Milioto;Philipp Lottes;C. Stachniss
影响因子：
--
作者：
SHANNON, CE
通讯作者：
SHANNON, CE
DOI：
10.1007/978-3-319-20248-8
发表时间：
2015
期刊：
--
影响因子：
--
作者：
J. Kittler;J.C. Mitchell;M. Naor
通讯作者：
J. Kittler;J.C. Mitchell;M. Naor
DOI：
10.1007/978-3-642-38067-9
发表时间：
2013
期刊：
--
影响因子：
--
作者：
S. Meher
通讯作者：
S. Meher
影响因子：
--
作者：
SHANNON, CE
通讯作者：
SHANNON, CE