Hierarchical Semantic Structure Preserving Hashing for Cross-Modal Retrieval
Hierarchical Semantic Structure Preserving Hashing for Cross-Modal Retrieval
复制标题
跨模态检索的分层语义结构保留散列
DOI：
10.1109/tmm.2022.3140656
复制
发表时间：
2023
影响因子：
7.3
通讯作者：
Lin Zhao
中科院分区：
文献类型：
--
作者：
Di Wang;Caiping Zhang;Quan Wang;Yumin Tian;Lihuo He;Lin Zhao
跨模式哈希算法由于其查询速度快、存储开销小等优点，近年来成为跨模式检索中的一种重要技术。通常，大多数先验监督跨模态哈希方法是针对非层次标记数据设计的平面方法。他们独立地对待不同的类别，忽略了类别间的相关性。在实际应用中，许多实例都被标注了层次类别。分层标签结构提供了不同类别之间的丰富信息。为了合理利用类别相关性，提出了层次交叉模式哈希算法。然而，现有的方法旨在保持实例成对或类成对的相似性，这不能充分探索不同类别之间的语义相关性，并使学习的哈希码的区分度较低。本文提出了一种基于层次语义结构保持哈希（HSSPH）的深度跨模态哈希方法，该方法直接利用标签层次信息来学习判别哈希码。具体来说，HSSPH为每一层学习一组类哈希码。通过增加类的代码与标签，它生成分层的原型代码，反映了每一层的语义结构。为了提高哈希码的区分能力，HSSPH监督哈希码的学习与标签和语义结构，以保持层次语义。此外，开发了有效的优化算法来直接学习每个实例和每个类的离散哈希码。在两个基准数据集上的大量实验表明，HSSPH优于几种最先进的方法。
Cross-modal hashing has become a vital technique in cross-modal retrieval due to its fast query speed and low storage cost in recent years. Generally, most of the priors supervised cross-modal hashing methods are flat methods which are designed for non-hierarchical labeled data. They treat different categories independently and ignore the inter-category correlations. In practical applications, many instances are labeled with hierarchical categories. The hierarchical label structure provides rich information among different categories. To rationally take use of category correlations, hierarchical cross-modal hashing is proposed. However, existing methods intend to preserve instance-pairwise or class-pairwise similarities, which cannot fully explore the semantic correlations among different categories and make the learned hash codes less discriminative. In this paper, we propose a deep cross-modal hashing method named hierarchical semantic structure preserving hashing (HSSPH), which directly exploits the label hierarchy information to learn discriminative hash codes. Specifically, HSSPH learns a set of class-wise hash codes for each layer. By augmenting class-wise codes with labels, it generates layer-wise prototype codes which reflect the semantic structure of each layer. In order to enhance the discriminative ability of hash codes, HSSPH supervises the hash codes learning with both labels and semantic structures to preserve the hierarchical semantics. Besides, efficient optimization algorithms are developed to directly learn the discrete hash codes for each instance and each class. Extensive experiments on two benchmark datasets show the superiority of HSSPH over several state-of-the-art methods.
登录
查看更多内容
通过基于概率的语义保留散列进行跨视图检索
影响因子：
11.8
作者：
Lin, Zijia;Ding, Guiguang;Wang, Jianmin
通讯作者：
Wang, Jianmin
DOI：
--
发表时间：
2016-11
期刊：
ArXiv
影响因子：
--
作者：
G. Koutaki;K. Shirai;Mitsuru Ambai
通讯作者：
G. Koutaki;K. Shirai;Mitsuru Ambai
DOI：
10.1145/3209978.3209996
发表时间：
2018-04
期刊：
The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval
影响因子：
--
作者：
Xuemeng Song;Fuli Feng;Xianjing Han;Xin Yang;W. Liu;Liqiang Nie
通讯作者：
Xuemeng Song;Fuli Feng;Xianjing Han;Xin Yang;W. Liu;Liqiang Nie
影响因子：
7.3
作者：
Jian Zhang-;Yuxin Peng
通讯作者：
Jian Zhang-;Yuxin Peng
DOI：
10.1109/cvpr.2015.7298966
发表时间：
2015-06
期刊：
2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
F. Yan;K. Mikolajczyk
通讯作者：
F. Yan;K. Mikolajczyk