Learning Multifunctional Binary Codes for Personalized Image Retrieval
Learning Multifunctional Binary Codes for Personalized Image Retrieval
复制标题
学习用于个性化图像检索的多功能二进制代码
DOI：
10.1007/s11263-020-01315-0
复制
发表时间：
2020-03
影响因子：
19.5
通讯作者：
Xilin Chen
中科院分区：
文献类型：
--
作者：
Haomiao Liu;Ruiping Wang;Shiguang Shan;Xilin Chen
由于图像的语义信息高度复杂，即使是相同的查询图像，在不同的场景下，基于内容的图像检索结果可能会有很大的差异和个性化。然而，大多数现有的哈希方法只保留一种类型的语义相似性，使得它们无法处理这种现实的检索任务。为了解决这个问题，我们提出了一个统一的哈希框架，利用卷积网络（cnn）将多种类型的信息编码成二进制代码。具体来说，我们假设典型的检索任务通常在两个方面定义，即高级语义（如对象类别）和视觉属性（如对象形状和颜色）。为此，我们训练了双重目的哈希模型，以共同保留分别表征两个方面的两种相似性。此外，由于同时带有类别和属性标签的图像是稀缺的，我们的模型经过精心设计，利用丰富的部分标记数据作为训练输入，以减轻过拟合的风险。在这样的框架下，通过对特定CNN层的输出进行量化，可以很容易地获得新图像的二进制码，并且可以通过不同的方式使用二进制码来实现不同的检索任务。在两个大规模数据集上的实验表明，我们的方法比那些专门为每个单独的检索任务设计的最先进的方法取得了相当甚至更好的性能，同时比所比较的方法更紧凑。
Due to the highly complex semantic information of images, even with the same query image, the expected content-based image retrieval results could be very different and personalized in different scenarios. However, most existing hashing methods only preserve one single type of semantic similarity, making them incapable of addressing such realistic retrieval tasks. To deal with this problem, we propose a unified hashing framework to encode multiple types of information into the binary codes by exploiting convolutional networks (CNNs). Specifically, we assume that typical retrieval tasks are generally defined in two aspects, i.e. high-level semantics (e.g. object categories) and visual attributes (e.g. object shape and color). To this end, our Dual Purpose Hashing model is trained to jointly preserve two kinds of similarities characterizing the two aspects respectively. Moreover, since images with both category and attribute labels are scarce, our model is carefully designed to leverage the abundant partially labelled data as training inputs to alleviate the risk of overfitting. With such a framework, the binary codes of new-coming images can be readily obtained by quantizing the outputs of a specific CNN layer, and different retrieval tasks can be achieved by using the binary codes in different ways. Experiments on two large-scale datasets show that our method achieves comparable or even better performance than those state-of-the-art methods specifically designed for each individual retrieval task while being more compact than the compared methods.
登录
查看更多内容
DOI：
10.1109/cvpr.2011.5995451
发表时间：
2011-06
期刊：
CVPR 2011
影响因子：
--
作者：
Devi Parikh;K. Grauman
通讯作者：
Devi Parikh;K. Grauman
DOI：
10.1609/aaai.v32i1.12280
发表时间：
2018-04
期刊：
--
影响因子：
--
作者：
Yang Long;Li Liu;Yuming Shen;Ling Shao
通讯作者：
Yang Long;Li Liu;Yuming Shen;Ling Shao
影响因子：
6.5
作者：
Erkun Yang;Cheng Deng;W. Liu;Xianglong Liu;D. Tao;Xinbo Gao
通讯作者：
Erkun Yang;Cheng Deng;W. Liu;Xianglong Liu;D. Tao;Xinbo Gao
影响因子：
19.5
作者：
Genevieve Patterson;Chen Xu;Hang Su;James Hays
通讯作者：
Genevieve Patterson;Chen Xu;Hang Su;James Hays
DOI：
10.1109/cvpr.2016.493
发表时间：
2015-11
期刊：
2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Ronghang Hu;Huazhe Xu;Marcus Rohrbach;Jiashi Feng;Kate Saenko;Trevor Darrell
通讯作者：
Ronghang Hu;Huazhe Xu;Marcus Rohrbach;Jiashi Feng;Kate Saenko;Trevor Darrell