Understanding visual-auditory correlation from heterogeneous features for cross-media retrieval
Understanding visual-auditory correlation from heterogeneous features for cross-media retrieval
复制标题
从异构特征中理解视觉听觉相关性以进行跨媒体检索
DOI：
10.1631/jzus.a071191
复制
发表时间：
2008-02
影响因子：
3.2
通讯作者：
Wu, Fei
中科院分区：
文献类型：
--
作者：
Pan, Hong;Zhang, Hong;Wang, Yan-yun;Wu, Fei
跨媒体检索是一个有趣的研究课题，它试图消除不同模式之间的障碍。为了实现跨媒体检索，需要找到异质低层特征之间的相关性度量，并判断语义相似度。提出了一种用于图像-音频检索的视觉特征和听觉特征跨媒体相关性学习的新方法。描述了一种半监督相关保持映射(SSCPM)方法来构造同构的SSCPM子空间，其中进一步保留了原始视觉特征和听觉特征之间的典型相关性。提出了子空间优化算法，以交互方式提高局部图像聚类和音频聚类的质量。提出了一种独特的相关反馈策略，通过学习用户行为来更新跨媒体关联知识，从而逐步提高检索性能。实验结果表明，该方法的性能是有效的。
Cross-media retrieval is an interesting research topic, which seeks to remove the barriers among different modalities. To enable cross-media retrieval, it is needed to find the correlation measures between heterogeneous low-level features and to judge the semantic similarity. This paper presents a novel approach to learn cross-media correlation between visual features and auditory features for image-audio retrieval. A semi-supervised correlation preserving mapping (SSCPM) method is described to construct the isomorphic SSCPM subspace where canonical correlations between the original visual and auditory features are further preserved. Subspace optimization algorithm is proposed to improve the local image cluster and audio cluster quality in an interactive way. A unique relevance feedback strategy is developed to update the knowledge of cross-media correlation by learning from user behaviors, so retrieval performance is enhanced in a progressive manner. Experimental results show that the performance of our approach is effective.
登录
查看更多内容
DOI：
10.1145/1027527.1027666
发表时间：
2004-10
期刊：
--
影响因子：
--
作者：
Jun Yang;Alexander Hauptmann
通讯作者：
Jun Yang;Alexander Hauptmann
影响因子：
2.7
作者：
H. Hotelling
通讯作者：
H. Hotelling
DOI：
10.1002/asi.1132.abs
发表时间：
2001-08
期刊：
J. Assoc. Inf. Sci. Technol.
影响因子：
--
作者：
Zheng Chen;Wenyin Liu;Feng Zhang;Mingjing Li;HongJiang Zhang
通讯作者：
Zheng Chen;Wenyin Liu;Feng Zhang;Mingjing Li;HongJiang Zhang
DOI：
10.1145/1291233.1291290
发表时间：
2007-09
期刊：
Proceedings of the 15th ACM international conference on Multimedia
影响因子：
--
作者：
Hong Zhang;Yueting Zhuang;Fei Wu
通讯作者：
Hong Zhang;Yueting Zhuang;Fei Wu
影响因子：
15.1
作者：
M. Slaney;M. Covell
通讯作者：
M. Slaney;M. Covell