From the Virtual to the RealWorld: Referring to Objects in Real-World Spatial Scenes
From the Virtual to the RealWorld: Referring to Objects in Real-World Spatial Scenes
复制标题
从虚拟到现实世界：引用现实世界空间场景中的对象
DOI：
--
复制
发表时间：
2015
期刊：
影响因子：
--
通讯作者：
W. Mackaness
中科院分区：
文献类型：
--
作者：
Dimitra Gkatzia;Verena Rieser;P. Bartie;W. Mackaness
预测指称表达式（RE）的成功对于导航系统等实际应用至关重要。传统上，研究的重点是研究在虚拟的，受控的环境中的引用表达式生成（REG）。在本文中，我们描述了一个新的研究空间参考从真实的场景，而不是虚拟的。首先，我们研究人类如何在开放的，不受控制的情况下描述对象，并将我们的研究结果与虚拟环境中报告的结果进行比较。我们表明，RE在现实世界中的情况下显着不同的虚拟世界。第二，我们提出了一种新的方法来量化图像的复杂性时，不存在完整的注释（例如，由于穷人的对象识别能力），第三，我们提出了一个模型，成功预测RE的对象在真实的场景。最后，我们讨论了自然语言生成（NLG）系统的影响和未来的发展方向。
Predicting the success of referring expressions (RE) is vital for real-world applications such as navigation systems. Traditionally, research has focused on studying Referring Expression Generation (REG) in virtual, controlled environments. In this paper, we describe a novel study of spatial references from real scenes rather than virtual. First, we investigate how humans describe objects in open, uncontrolled scenarios and compare our findings to those reported in virtual environments. We show that REs in real-world scenarios differ significantly to those in virtual worlds. Second, we propose a novel approach to quantifying image complexity when complete annotations are not present (e.g. due to poor object recognition capabitlities), and third, we present a model for success prediction of REs for objects in real scenes. Finally, we discuss implications for Natural Language Generation (NLG) systems and future directions.
2009 年 TUNA-REG 挑战赛：概述和评估结果
DOI：
--
发表时间：
2009
期刊：
--
影响因子：
--
作者：
A Gatt
通讯作者：
A Gatt