Understanding Multimodal User Gesture and Speech Behavior for Object Manipulation in Augmented Reality Using Elicitation
Understanding Multimodal User Gesture and Speech Behavior for Object Manipulation in Augmented Reality Using Elicitation
复制标题
使用启发了解增强现实中对象操作的多模式用户手势和语音行为
DOI：
10.1109/tvcg.2020.3023566
复制
发表时间：
2020
影响因子：
5.2
通讯作者：
Ortega, Francisco
中科院分区：
文献类型：
--
作者：
Williams, Adam S.;Garcia, Jason;Ortega, Francisco
本研究的主要目的是了解用户如何使用多模态交互（手势和语音）和单峰交互（手势）在增强现实中操纵虚拟对象。通过这种理解，可以为这项技术设计自然感觉的交互。这些研究结果来自一项启发式研究，采用绿野仙踪设计，旨在开发用户定义的多模态交互集，用于使用光学透视增强现实耳机在3D环境中构建任务。测试的方式包括手势和语音组合、仅手势和仅语音。这项研究有24名参与者。用于平移、旋转和缩放的规范引用与一些抽象引用（创建、销毁和选择）一起使用沿着。提供了用于交互的手势的共识集合。研究结果包括手势的类型，同时发生的手势和语音之间的时间（130毫秒），感知工作量的方式（使用NASA TLX），以及从这项研究中产生的设计准则。多模式交互，特别是增强现实耳机的手势和语音交互，是必不可少的，因为这项技术成为交互式计算的未来。在不久的将来，增强现实眼镜可能会变得普遍。
The primary objective of this research is to understand how users manipulate virtual objects in augmented reality using multimodal interaction (gesture and speech) and unimodal interaction (gesture). Through this understanding, natural-feeling interactions can be designed for this technology. These findings are derived from an elicitation study employing Wizard of Oz design aimed at developing user-defined multimodal interaction sets for building tasks in 3D environments using optical see-through augmented reality headsets. The modalities tested are gesture and speech combined, gesture only, and speech only. The study was conducted with 24 participants. The canonical referents for translation, rotation, and scale were used along with some abstract referents (create, destroy, and select). A consensus set of gestures for interactions is provided. Findings include the types of gestures performed, the timing between co-occurring gestures and speech (130 milliseconds), perceived workload by modality (using NASA TLX), and design guidelines arising from this study. Multimodal interaction, in particular gesture and speech interactions for augmented reality headsets, are essential as this technology becomes the future of interactive computing. It is possible that in the near future, augmented reality glasses will become pervasive.
登录
查看更多内容
环境辅助生活实验室中的语音和手势交互
DOI：
--
发表时间：
2012
期刊：
SMIAE@ACL
影响因子：
--
作者：
D. Anastasiou;Cui Jian;D. Zhekova
通讯作者：
D. Zhekova
使用语音和桨手势评估增强现实多模态界面
DOI：
--
发表时间：
2006
期刊：
International Symposium on Information, Communication and Automation Technologies
影响因子：
--
作者：
S. Irawati;S. Green;M. Billinghurst;Andreas Dünser;H. Ko
通讯作者：
H. Ko
DOI：
10.1145/3025453.3025537
发表时间：
2017
期刊：
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
T. Plank;Hans;Roman Rädle;C. Klokmose;Thomas Luger;Harald Reiterer
通讯作者：
Harald Reiterer
虚拟现实中的选择和操作全身手势诱导研究
DOI：
10.1109/vr.2019.8798105
发表时间：
2019
期刊：
2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
影响因子：
--
作者：
F. Ortega;Katherine Tarre;Mathew Kress;A. S. Williams;A. Barreto;N. Rishe
通讯作者：
N. Rishe
AR 多模式界面的绿野仙踪研究
DOI：
10.1145/1452392.1452444
发表时间：
2008
期刊：
CHI 98 Conference Summary on Human Factors in Computing Systems
影响因子：
--
作者：
Minkyung Lee;M. Billinghurst
通讯作者：
M. Billinghurst