Visual-Semantic Aligned Bidirectional Network for Zero-Shot Learning
Visual-Semantic Aligned Bidirectional Network for Zero-Shot Learning
复制标题
用于零样本学习的视觉语义对齐双向网络
DOI：
10.1109/tmm.2022.3145666
复制
发表时间：
2023
影响因子：
7.3
通讯作者：
Ling Shao
中科院分区：
文献类型：
--
作者：
Rui Gao;Xingsong Hou;Jie Qin;Yuming Shen;Yang Long;Li Liu;Zhao Zhang;Ling Shao
零射击学习(ZSL)旨在识别在训练过程中不可用的未知类别。最近，生成模型显示了通过合成以语义嵌入为条件的看不见的特征(如属性)来解决这一具有挑战性的问题的潜力。然而，单向生成模型不能保证视觉空间和语义空间之间的有效耦合。为此，我们提出了一种具有循环一致性的视觉语义对齐双向网络，以缓解这两个空间之间的差距，生成高质量的看不见的特征。更重要的是，我们将两个精心设计的策略融入到我们的双向框架中，以提高ZSL的整体性能。具体地说，我们增强了视觉和语义空间中的域内类别差异，同时缓解了域间的转移，以保持看不见的领域区分。在四个标准基准上的实验结果表明，无论是在常规ZSL环境下还是在广义ZSL环境下，我们的框架都优于现有的最新方法。
Zero-shot learning (ZSL) aims to recognize unknown categories that are unavailable during training. Recently, generative models have shown the potential to address this challenging problem by synthesizing unseen features conditioned on semantic embeddings such as attributes. However, unidirectional generative models cannot guarantee the effective coupling between visual and semantic spaces. To this end, we propose a visual-semantic aligned bidirectional network with cycle consistency to alleviate the gap between these two spaces, generating unseen features of high quality. More importantly, we incorporate two carefully designed strategies into our bidirectional framework to improve the overall ZSL performance. Specifically, we enhance the intra-domain class divergence in both visual and semantic spaces, and in the meantime, mitigate the inter-domain shift to preserve seen-unseen domain discrimination. Experimental results on four standard benchmarks show the superiority of our framework over existing state-of-the-art methods under both conventional and generalized ZSL settings.
登录
查看更多内容
DOI：
10.1109/cvpr.2018.00113
发表时间：
2018-03
期刊：
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Jie Song;Chengchao Shen;Yezhou Yang;Yang Liu;Mingli Song
通讯作者：
Jie Song;Chengchao Shen;Yezhou Yang;Yang Liu;Mingli Song
DOI：
10.1109/cvpr.2019.00089
发表时间：
2018-11
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
He Huang;Chang-Dong Wang;Philip S. Yu;Chang-Dong Wang
通讯作者：
He Huang;Chang-Dong Wang;Philip S. Yu;Chang-Dong Wang
影响因子：
11.8
作者：
Jingjing Li;Mengmeng Jing;Ke Lu;Lei Zhu;Heng Tao Shen
通讯作者：
Jingjing Li;Mengmeng Jing;Ke Lu;Lei Zhu;Heng Tao Shen
DOI：
10.1162/153244302760185252
发表时间：
2002-03
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Ingo Steinwart
通讯作者：
Ingo Steinwart
DOI：
--
发表时间：
2017-03
期刊：
ArXiv
影响因子：
--
作者：
Alexander Hermans;Lucas Beyer;B. Leibe
通讯作者：
Alexander Hermans;Lucas Beyer;B. Leibe