Flexible Multi-modal Hashing for Scalable Multimedia Retrieval
Flexible Multi-modal Hashing for Scalable Multimedia Retrieval
复制标题
用于可扩展多媒体检索的灵活多模式散列
DOI：
10.1145/3365841
复制
发表时间：
2020-01
影响因子：
5
通讯作者：
Huaxiang Zhang
中科院分区：
文献类型：
--
作者：
Lei Zhu;Xu Lu;Zhiyong Cheng;Jingjing Li;Huaxiang Zhang
多模态散列方法通过在离线训练和在线查询阶段结合多模态特征进行二进制散列学习，可以支持高效的多媒体检索。然而，现有的多模态方法不能二进制查询时，只有一个或部分的模态提供。在这篇文章中，我们提出了一种新的灵活的多模式哈希（FMH）方法来解决这个问题。FMH在单个模型中同时学习多个特定于模态的哈希码和多模态协作哈希码。哈希码根据新来的查询灵活地生成，其提供模态特征中的任何一个或组合。此外，散列学习过程中有效地监督成对语义矩阵，以提高区分能力。该算法避免了复杂的对称语义矩阵分解和语义矩阵的O（n2）存储开销。最后，我们设计了一个快速离散优化算法，通过简单的操作直接学习哈希码。实验验证了该方法的优越性。
Multi-modal hashing methods could support efficient multimedia retrieval by combining multi-modal features for binary hash learning at the both offline training and online query stages. However, existing multi-modal methods cannot binarize the queries, when only one or part of modalities are provided. In this article, we propose a novel Flexible Multi-modal Hashing (FMH) method to address this problem. FMH learns multiple modality-specific hash codes and multi-modal collaborative hash codes simultaneously within a single model. The hash codes are flexibly generated according to the newly coming queries, which provide any one or combination of modality features. Besides, the hashing learning procedure is efficiently supervised by the pair-wise semantic matrix to enhance the discriminative capability. It could successfully avoid the challenging symmetric semantic matrix factorization and O(n2) storage cost of semantic matrix. Finally, we design a fast discrete optimization to learn hash codes directly with simple operations. Experiments validate the superiority of the proposed approach.
登录
查看更多内容
通过基于概率的语义保留散列进行跨视图检索
影响因子：
11.8
作者：
Lin, Zijia;Ding, Guiguang;Wang, Jianmin
通讯作者：
Wang, Jianmin
DOI：
10.1109/icme.2017.8019425
发表时间：
2017-07
期刊：
2017 IEEE International Conference on Multimedia and Expo (ICME)
影响因子：
--
作者：
Yahui Xu;Yang Yang-Yang;Fumin Shen;Xing Xu;Yuxuan Zhou-;Heng Tao Shen
通讯作者：
Yahui Xu;Yang Yang-Yang;Fumin Shen;Xing Xu;Yuxuan Zhou-;Heng Tao Shen
为大规模跨模式相似性搜索标记一致矩阵分解散列
DOI：
10.1109/tpami.2018.2861000
发表时间：
2019-10
期刊：
IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI)
影响因子：
--
作者：
Di Wang;Xinbo Gao;Xiumei Wang;Lihuo He
通讯作者：
Lihuo He
DOI：
10.1145/2009916.2009950
发表时间：
2011-07
期刊：
Proceedings of the 34th international ACM SIGIR conference on Research and development in Information Retrieval
影响因子：
--
作者：
Dan Zhang;Fei Wang;Luo Si
通讯作者：
Dan Zhang;Fei Wang;Luo Si
DOI：
10.1145/3078971.3078981
发表时间：
2017-06
期刊：
Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval
影响因子：
--
作者：
Rui Yang;Yuliang Shi;Xin-Shun Xu
通讯作者：
Rui Yang;Yuliang Shi;Xin-Shun Xu