Fusing Dialogue and Gaze From Discussions of 2D and 3D Scenes
Fusing Dialogue and Gaze From Discussions of 2D and 3D Scenes
复制标题
融合 2D 和 3D 场景讨论中的对话和凝视
DOI：
10.1145/3351529.3360661
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Alm, Cecilia Ovesdotter
中科院分区：
文献类型：
--
作者：
Wang, Regina;Olson, Bradley;Vaidyanathan, Preethi;Bailey, Reynold;Alm, Cecilia Ovesdotter
对话伙伴依靠相互凝视和话语的推理来协商共同的意思。相比之下，对话系统仍然主要以单峰问题或命令和响应交互方式运行。为了实现能够直观地与人类讨论和协作的系统，我们应该考虑其他感官信息。我们开始通过一项创新的研究来解决这一局限性，该研究获取、分析并融合了对话者的讨论和凝视。我们引入了一项基于讨论的启发任务，通过远程可穿戴眼球跟踪器收集凝视，同时对话，对话者就屏幕上的2D图像和真实世界的3D场景的问题达成共识。我们分析了视觉-语言模式，并通过使用统计机器翻译的多模式融合扩展了一个多模式图像区域标注框架，应用了三种融合说话人凝视和讨论的方法，将模式映射到视觉环境中。
Conversation partners rely on inference using each other’s gaze and utterances to negotiate shared meaning. In contrast, dialogue systems still operate mostly with unimodal question or command and response interactions. To realize systems that can intuitively discuss and collaborate with humans, we should consider other sensory information. We begin to address this limitation with an innovative study that acquires, analyzes, and fuses interlocutors’ discussion and gaze. Introducing a discussion-based elicitation task, we collect gaze with remote and wearable eye trackers alongside dialogue as interlocutors come to consensus on questions about an on-screen 2D image and a real-world 3D scene. We analyze the visual-linguistic patterns, and also map the modalities onto the visual environment by extending a multimodal image region annotation framework using statistical machine translation for multimodal fusion, applying three ways of fusing speakers’ gaze and discussion.
登录
查看更多内容
使用共同捕获的面部、目光和言语反应对不同情感内容的图像进行分析和语义对齐
DOI：
--
发表时间：
2017
期刊：
The AAAI-17 Workshop on Human-Aware Artificial Intelligence
影响因子：
--
作者：
Gangji, Aliya;Walden, Trevor;Vaidyanathan, Preethi;Prud'hommeaux, Emily;Bailey, Reynold;Alm, Cecilia O
通讯作者：
Alm, Cecilia O
话语、视觉和认知
DOI：
--
发表时间：
2008
期刊：
影响因子：
--
作者：
Jana Holsanova
通讯作者：
Jana Holsanova
影响因子：
5.4
作者：
Anderson, Nicola C.;Bischof, Walter F.;Kingstone, Alan
通讯作者：
Kingstone, Alan
多方情景交互中相互注视和联合注意的多模态语料库
DOI：
--
发表时间：
2018
期刊：
International Conference on Language Resources and Evaluation
影响因子：
--
作者：
Dimosthenis Kontogiorgos;Vanya Avramova;Simon Alexanderson;Patrik Jonell;Catharine Oertel;J. Beskow;Gabriel Skantze;Joakim Gustafson
通讯作者：
Joakim Gustafson
多方对话系统中的多模式收件人检测
DOI：
--
发表时间：
2015
期刊：
IEEE International Conference on Acoustics, Speech, and Signal Processing
影响因子：
--
作者：
T. Tsai;A. Stolcke;M. Slaney
通讯作者：
M. Slaney