Visalogy: Answering Visual Analogy Questions
Visalogy: Answering Visual Analogy Questions
复制标题
DOI：
--
复制
发表时间：
2015-10
期刊：
影响因子：
--
通讯作者：
Fereshteh Sadeghi;C. L. Zitnick;Ali Farhadi
中科院分区：
文献类型：
--
作者：
Fereshteh Sadeghi;C. L. Zitnick;Ali Farhadi
在本文中，我们研究回答视觉类比问题的问题。这些问题采用图像 A 对应图像 B 的形式，就像图像 C 对应什么的形式一样。回答这些问题需要发现从图像 A 到图像 B 的映射，然后将映射扩展到图像 C 并搜索图像 D，使得从 A 到 B 的关系对于 C 到 D 成立。我们将这个问题视为学习嵌入，鼓励使用具有四连体架构的卷积神经网络将具有相似变换的相似图像对靠近在一起。我们引入了自然图像中的视觉类比问题的数据集，并展示了解决自然图像中的类比问题的第一个结果。
In this paper, we study the problem of answering visual analogy questions. These questions take the form of image A is to image B as image C is to what. Answering these questions entails discovering the mapping from image A to image B and then extending the mapping to image C and searching for the image D such that the relation from A to B holds for C to D. We pose this problem as learning an embedding that encourages pairs of analogous images with similar transformations to be close together using convolutional neural networks with a quadruple siamese architecture. We introduce a dataset of visual analogy questions in natural images, and show first results of its kind on solving analogy questions on natural images.