A Semantic Segmentation Model for Headdresses in Thangka Image Based on Line Drawing Augmentation and Spatial Prior Knowledge
A Semantic Segmentation Model for Headdresses in Thangka Image Based on Line Drawing Augmentation and Spatial Prior Knowledge
复制标题
基于线描增强和空间先验知识的唐卡图像头饰语义分割模型
DOI：
10.1109/jsen.2021.3076765
复制
发表时间：
2021-04
影响因子：
4.3
通讯作者：
Panpan Xue
中科院分区：
文献类型：
--
作者：
Jiahao Meng;Wenjin Hu;Li Jia;Guoyuan He;Panpan Xue
唐卡是一种宗教卷轴画。作为藏族传统文化和宗教习俗的窗口，图像中重要语义对象的分割可以帮助公众理解图像内容，实现视觉内容的高层次语义认知。基于唐卡图像丰富的结构和规范的构图，提出了一种肖像类唐卡图像中心人物头饰的语义分割网络。同时，还构建了第一个唐卡图像中心人物头饰像素级语义标注数据集。首先，通过线描增强模块对原始唐卡图像进行边缘增强。然后使用特征提取网络提取特征图。然后，使用半RPN网络来获得感兴趣区域（ROI）。最后，Mask R-CNN Head完成分割和类别预测。实验结果表明，该模型的性能比Mask R-CNN和DeepLab V3等最先进的模型高出10%至19%。
Thangka is a religious scroll painting. As a window to Tibetan traditional culture and religious customs, the segmentation of important semantic objects in the images can help the public understand the image content and realize high-level semantic cognition of the visual content. This paper proposes a semantic segmentation network for the central figures’ headdresses in the portrait-type Thangka images based on the rich structure and standard composition of Thangka images. Meanwhile, it has also constructed the first pixel-level semantic annotation data set of the central figures’ headdresses in Thangka images. Firstly, an original Thangka image witnesses edge augmentation through the line drawing augmentation module. Then the Feature Extraction Network is used to extract the feature map. After that, it uses the Half-RPN network to get the region of interest (ROI). Finally, Mask R-CNN Head completes segmentation and class prediction. The experimental results show that the performance of the proposed model is 10% to 19% better than that of the state-of-the-art models such as Mask R-CNN and DeepLab V3.
登录
查看更多内容
DOI：
10.1109/tpami.2019.2956516
发表时间：
2021-05-01
影响因子：
23.6
作者：
Cai, Zhaowei;Vasconcelos, Nuno
通讯作者：
Vasconcelos, Nuno
DOI：
--
发表时间：
2017-04
期刊：
ArXiv
影响因子：
--
作者：
Alberto Garcia-Garcia-Alberto-Garcia-Garcia-1397392435;Sergio Orts;Sergiu Oprea;Victor Villena-Martinez;J. G. Rodríguez
通讯作者：
Alberto Garcia-Garcia-Alberto-Garcia-Garcia-1397392435;Sergio Orts;Sergiu Oprea;Victor Villena-Martinez;J. G. Rodríguez
DOI：
10.1017/cbo9781139207249.009
发表时间：
2012
期刊：
--
影响因子：
--
作者：
W. Marsden
通讯作者：
W. Marsden
DOI：
10.1109/tvcg.2008.81
发表时间：
2009-01-01
影响因子：
5.2
作者：
Kang, Henry;Lee, Seungyong;Chui, Charles K.
通讯作者：
Chui, Charles K.
DOI：
10.1109/tpami.2016.2572683
发表时间：
2017-04-01
影响因子：
23.6
作者：
Shelhamer, Evan;Long, Jonathan;Darrell, Trevor
通讯作者：
Darrell, Trevor