A Visual Attention Grounding Neural Model for Multimodal Machine Translation
A Visual Attention Grounding Neural Model for Multimodal Machine Translation
复制标题
DOI：
10.18653/v1/d18-1400
复制
发表时间：
2018-08
期刊：
影响因子：
--
通讯作者：
Mingyang Zhou;Runxiang Cheng;Yong Jae Lee;Zhou Yu
中科院分区：
文献类型：
--
作者：
Mingyang Zhou;Runxiang Cheng;Yong Jae Lee;Zhou Yu
我们提出了一种新的多通道机器翻译模型，该模型利用并行的视觉和文本信息。我们的模型联合优化了共享视觉语言嵌入和翻译器的学习。该模型利用了将视觉语义与对应的文本语义相链接的视觉注意基础机制。我们的方法在Multi30K和模棱两可的COCO数据集上取得了具有竞争力的最先进结果。我们还收集了一个新的多语言多模式产品描述数据集，以模拟现实世界中的国际在线购物场景。在这个数据集上，我们的视觉注意基础模型比其他方法有很大的优势。
We introduce a novel multimodal machine translation model that utilizes parallel visual and textual information. Our model jointly optimizes the learning of a shared visual-language embedding and a translator. The model leverages a visual attention grounding mechanism that links the visual semantics with the corresponding textual semantics. Our approach achieves competitive state-of-the-art results on the Multi30K and the Ambiguous COCO datasets. We also collected a new multilingual multimodal product description dataset to simulate a real-world international online shopping scenario. On this dataset, our visual attention grounding model outperforms other methods by a large margin.