Attentive Gated Graph Neural Network for Image Scene Graph Generation
Attentive Gated Graph Neural Network for Image Scene Graph Generation
复制标题
用于图像场景图生成的注意力门控图神经网络
DOI：
10.3390/sym12040511
复制
发表时间：
2020-04
期刊：
影响因子：
2.7
通讯作者：
Jiang Lincheng
中科院分区：
文献类型：
--
作者：
Li Shuohao;Tang Min;Zhang Jun;Jiang Lincheng
图像场景图是一种语义结构表示，它不仅可以表示图像中的对象，还可以推断它们之间的关系和相互作用。尽管最近深度神经网络在目标检测方面取得了成功，但由于视觉内容和社会关系领域之间的巨大差距，自动识别图像中目标的社会关系仍然是一个具有挑战性的任务。在这项工作中，我们将场景图转化为一个注意力门图神经网络，该网络可以通过视觉关系嵌入来传播消息。更具体地说，门控神经网络中的节点可以表示图像中的对象，而边缘可以被视为对象之间的关系。在该网络中，采用了一种注意力机制来衡量对象之间的关系强度。它可以提高对象分类的准确率，降低关系分类的复杂度。在广泛采用的视觉基因组数据集上的大量实验表明了该方法的有效性。
Image scene graph is a semantic structural representation which can not only show what objects are in the image, but also infer the relationships and interactions among them. Despite the recent success in object detection using deep neural networks, automatically recognizing social relations of objects in images remains a challenging task due to the significant gap between the domains of visual content and social relation. In this work, we translate the scene graph into an Attentive Gated Graph Neural Network which can propagate a message by visual relationship embedding. More specifically, nodes in gated neural networks can represent objects in the image, and edges can be regarded as relationships among objects. In this network, an attention mechanism is applied to measure the strength of the relationship between objects. It can increase the accuracy of object classification and reduce the complexity of relationship classification. Extensive experiments on the widely adopted Visual Genome Dataset show the effectiveness of the proposed method.
登录
查看更多内容
DOI：
10.1609/aaai.v33i01.33018102
发表时间：
2019-01
期刊：
ArXiv
影响因子：
--
作者：
H. Ben-younes;Rémi Cadène;Nicolas Thome;M. Cord
通讯作者：
H. Ben-younes;Rémi Cadène;Nicolas Thome;M. Cord
DOI：
10.1109/cvpr.2014.412
发表时间：
2014-06
期刊：
2014 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
S. Divvala;Ali Farhadi;Carlos Guestrin
通讯作者：
S. Divvala;Ali Farhadi;Carlos Guestrin
DOI：
10.1609/aaai.v33i01.33018142
发表时间：
2018-05
期刊：
--
影响因子：
--
作者：
Chen Chen-Chen;Shuai Mu;Wanpeng Xiao;Zexiong Ye;Liesi Wu;Fuming Ma;Qi Ju
通讯作者：
Chen Chen-Chen;Shuai Mu;Wanpeng Xiao;Zexiong Ye;Liesi Wu;Fuming Ma;Qi Ju
DOI：
--
发表时间：
2018-11
期刊：
--
影响因子：
--
作者：
Sanghyun Woo;Dahun Kim;Donghyeon Cho-;In-So Kweon
通讯作者：
Sanghyun Woo;Dahun Kim;Donghyeon Cho-;In-So Kweon
DOI：
10.1109/cvpr.2008.4587799
发表时间：
2008-06
期刊：
2008 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
C. Galleguillos;Andrew Rabinovich;Serge J. Belongie
通讯作者：
C. Galleguillos;Andrew Rabinovich;Serge J. Belongie