Dual Encoding for Video Retrieval by Text
Dual Encoding for Video Retrieval by Text
复制标题
通过文本进行视频检索的双重编码
DOI：
10.1109/tpami.2021.3059295
复制
发表时间：
2021-02
影响因子：
23.6
通讯作者：
Meng Wang
中科院分区：
文献类型：
--
作者：
Jianfeng Dong;Xirong Li;Chaoxi Xu;Xun Yang;Gang Yang;Xun Wang;Meng Wang
本文研究了视频文本检索的难点问题。在这样的检索范例中，最终用户通过专门以自然语言句子的形式描述的特殊查询来搜索未标记的视频，而不提供视觉示例。给定视频作为帧序列和查询作为单词序列，有效的序列到序列的跨模态匹配是至关重要的。为此，需要首先将这两种模态编码为实值向量，然后将其投影到公共空间中。在本文中，我们通过提出一个双深度编码网络来实现这一目标，该网络将视频和查询编码为它们自己的强大的密集表示。我们的新鲜感是双重的。首先，与使用特定单级编码器的现有技术不同，所提出的网络执行多级编码，以粗到细的方式表示两种模式的丰富内容。其次，与传统的基于概念或基于潜在空间的公共空间学习算法不同，我们引入了混合空间学习，它结合了潜在空间的高性能和概念空间的良好可解释性。双重编码在概念上简单，实践上有效，并且是端到端的混合空间学习训练。在四个具有挑战性的视频数据集上进行的大量实验表明了新方法的可行性。代码和数据可在https://github.com/danieljf24/hybrid_space上获得。
This paper attacks the challenging problem of video retrieval by text. In such a retrieval paradigm, an end user searches for unlabeled videos by ad-hoc queries described exclusively in the form of a natural-language sentence, with no visual example provided. Given videos as sequences of frames and queries as sequences of words, an effective sequence-to-sequence cross-modal matching is crucial. To that end, the two modalities need to be first encoded into real-valued vectors and then projected into a common space. In this paper we achieve this by proposing a dual deep encoding network that encodes videos and queries into powerful dense representations of their own. Our novelty is two-fold. First, different from prior art that resorts to a specific single-level encoder, the proposed network performs multi-level encoding that represents the rich content of both modalities in a coarse-to-fine fashion. Second, different from a conventional common space learning algorithm which is either concept based or latent space based, we introduce hybrid space learning which combines the high performance of the latent space and the good interpretability of the concept space. Dual encoding is conceptually simple, practically effective and end-to-end trained with hybrid space learning. Extensive experiments on four challenging video datasets show the viability of the new method. Code and data are available at https://github.com/danieljf24/hybrid_space.
登录
查看更多内容
DOI：
10.1007/978-3-030-01261-8_23
发表时间：
2018-09
期刊：
--
影响因子：
--
作者：
Bowen Zhang;Hexiang Hu;Fei Sha
通讯作者：
Bowen Zhang;Hexiang Hu;Fei Sha
影响因子：
6
作者：
G. Awad;A. Butt;Jonathan G. Fiscus;David Joy;Andrew Delgado;Martial Michel;A. Smeaton;Yyette Graham;Gareth J.F. Jones;Wessel Kraaij;G. Quénot;Maria Eskevich;R. Ordelman;B. Huet;Zhi-Qi Cheng
通讯作者：
G. Awad;A. Butt;Jonathan G. Fiscus;David Joy;Andrew Delgado;Martial Michel;A. Smeaton;Yyette Graham;Gareth J.F. Jones;Wessel Kraaij;G. Quénot;Maria Eskevich;R. Ordelman;B. Huet;Zhi-Qi Cheng
DOI：
10.1109/cvpr.2019.00208
发表时间：
2019-06
期刊：
2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Yale Song;M. Soleymani
通讯作者：
Yale Song;M. Soleymani
DOI：
10.1145/3078971.3079044
发表时间：
2017-06
期刊：
Proceedings of the 2017 ACM on International Conference on Multimedia Retrieval
影响因子：
--
作者：
G. Awad;Duy-Dinh Le;C. Ngo;Vinh-Tiep Nguyen;G. Quénot;Cees G. M. Snoek;S. Satoh
通讯作者：
G. Awad;Duy-Dinh Le;C. Ngo;Vinh-Tiep Nguyen;G. Quénot;Cees G. M. Snoek;S. Satoh
DOI：
--
发表时间：
2016-09
期刊：
ArXiv
影响因子：
--
作者：
Atousa Torabi;Niket Tandon;L. Sigal
通讯作者：
Atousa Torabi;Niket Tandon;L. Sigal