Deep Cross-Modal Face Naming for People News Retrieval
Deep Cross-Modal Face Naming for People News Retrieval
复制标题
用于人物新闻检索的深度跨模态人脸命名
DOI：
10.1109/tkde.2019.2948875
复制
发表时间：
2019-10
影响因子：
8.9
通讯作者：
Weiguo Fan
中科院分区：
文献类型：
--
作者：
Yong Tian;Lian Zhou;Yuejie Zhang;Tao Zhang;Weiguo Fan
如何在多模态新闻中整合多模态信息源进行人脸命名是一个热点问题，也是一个具有挑战性的问题。为了更有效地检索大规模多模态新闻，本文提出了一种新的深度跨模态人脸命名方案。该方案集成了深度多模态分析、跨模态相关学习和多模态信息挖掘，其中高效的命名机制旨在将不同模态的深度特征聚类到一个共同的空间中，探索它们之间的相互关联，并设计了一种特殊的Web挖掘模式来优化罕见非名人的名-脸匹配。这种跨模态面孔命名模型可以看作是一个双媒体语义映射问题，并将其建模为多模态新闻深度表征上的相互关联分布，其中最重要的是创建更有效的跨模态姓名面孔关联，并衡量它们之间的关联程度。对雅虎大量公开数据的实验新闻已经获得了非常积极的结果，并证明了该模型的有效性。
How to integrate multimodal information sources for face naming in multimodal news is a hot and yet challenging problem. A novel deep cross-modal face naming scheme is developed in this paper to facilitate more effective people news retrieval for large-scale multimodal news. This scheme integrates deep multimodal analysis, cross-modal correlation learning, and multimodal information mining, in which the efficient naming mechanism aims to cluster the deep features of different modalities into a common space to explore their inter-related correlations, and a special Web mining pattern is designed to optimize the name-face matching for rare non-celebrity. Such a cross-modal face naming model can be treated as a problem of bi-media semantic mapping and modeled as an inter-related correlation distribution over deep representations of multimodal news, in which the most important is to create more effective cross-modal name-face correlation and measure to what degree they are correlated. The experiments on a large number of public data from Yahoo! News have obtained very positive results and demonstrated the effectiveness of the proposed model.
登录
查看更多内容
影响因子：
7.3
作者：
Yueting Zhuang;Yi Yang;Fei Wu
通讯作者：
Yueting Zhuang;Yi Yang;Fei Wu
DOI：
10.1109/cvpr.2004.175
发表时间：
2004-06
期刊：
Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004.
影响因子：
--
作者：
Tamara L. Berg;A. Berg;Jaety Edwards;M. Maire;Ryan White;Y. Teh;E. Learned-Miller;D. Forsyth
通讯作者：
Tamara L. Berg;A. Berg;Jaety Edwards;M. Maire;Ryan White;Y. Teh;E. Learned-Miller;D. Forsyth
DOI：
10.1109/tpami.2017.2709749
发表时间：
2018-05-01
影响因子：
23.6
作者：
Zheng, Liang;Yang, Yi;Tian, Qi
通讯作者：
Tian, Qi
影响因子：
6
作者：
Dan Zeng;Yixin Bao;Ke Liu;Fan Zhao;Q. Tian
通讯作者：
Dan Zeng;Yixin Bao;Ke Liu;Fan Zhao;Q. Tian
DOI：
10.5244/c.25.29
发表时间：
2011
期刊：
--
影响因子：
--
作者：
M. Özcan;Jie Luo;V. Ferrari;B. Caputo
通讯作者：
M. Özcan;Jie Luo;V. Ferrari;B. Caputo