Understanding Gesture and Speech Multimodal Interactions for Manipulation Tasks in Augmented Reality Using Unconstrained Elicitation
Understanding Gesture and Speech Multimodal Interactions for Manipulation Tasks in Augmented Reality Using Unconstrained Elicitation
复制标题
使用无约束启发了解增强现实中操作任务的手势和语音多模态交互
DOI：
10.1145/3427330
复制
发表时间：
2020
影响因子：
--
通讯作者：
Ortega, Francisco R.
中科院分区：
文献类型：
--
作者：
Williams, Adam S.;Ortega, Francisco R.
这项研究建立了一个更好的理解语音交互的语法选择和语音，手势，多模态手势和语音交互是如何产生的用户在不受约束的对象操作环境中使用增强现实。这项工作提出了一个多模态启发研究进行了24名参与者。用于平移、旋转和缩放的规范引用与一些抽象引用（创建、销毁和选择）一起使用沿着。在这项研究中，使用手势和语音的开始和停止时间以及手势的斯托克时间来开发手势和语音多模式交互的时间窗口。虽然手势通常先于语音81 ms，但我们发现手势的笔划通常在语音开始的10 ms内。指示手势的信息内容及其共同出现的语音彼此很好地对准。最后，审查了每种模式最常见提案的趋势。表明提议之间的不一致通常是由手势或句法的变化引起的。允许我们提出别名建议，以增加未来多模态交互系统捕获的用户自然交互的百分比。
This research establishes a better understanding of the syntax choices in speech interactions and of how speech, gesture, and multimodal gesture and speech interactions are produced by users in unconstrained object manipulation environments using augmented reality. The work presents a multimodal elicitation study conducted with 24 participants. The canonical referents for translation, rotation, and scale were used along with some abstract referents (create, destroy, and select). In this study time windows for gesture and speech multimodal interactions are developed using the start and stop times of gestures and speech as well as the stoke times for gestures. While gestures commonly precede speech by 81 ms we find that the stroke of the gesture is commonly within 10 ms of the start of speech. Indicating that the information content of a gesture and its co-occurring speech are well aligned to each other. Lastly, the trends across the most common proposals for each modality are examined. Showing that the disagreement between proposals is often caused by a variation of hand posture or syntax. Allowing us to present aliasing recommendations to increase the percentage of users' natural interactions captured by future multimodal interactive systems.
登录
查看更多内容
环境辅助生活实验室中的语音和手势交互
DOI：
--
发表时间：
2012
期刊：
SMIAE@ACL
影响因子：
--
作者：
D. Anastasiou;Cui Jian;D. Zhekova
通讯作者：
D. Zhekova
使用语音和桨手势评估增强现实多模态界面
DOI：
--
发表时间：
2006
期刊：
International Symposium on Information, Communication and Automation Technologies
影响因子：
--
作者：
S. Irawati;S. Green;M. Billinghurst;Andreas Dünser;H. Ko
通讯作者：
H. Ko
DOI：
10.1145/3025453.3025537
发表时间：
2017
期刊：
Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems
影响因子：
--
作者：
T. Plank;Hans;Roman Rädle;C. Klokmose;Thomas Luger;Harald Reiterer
通讯作者：
Harald Reiterer
虚拟现实中的选择和操作全身手势诱导研究
DOI：
10.1109/vr.2019.8798105
发表时间：
2019
期刊：
2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR)
影响因子：
--
作者：
F. Ortega;Katherine Tarre;Mathew Kress;A. S. Williams;A. Barreto;N. Rishe
通讯作者：
N. Rishe
AR 多模式界面的绿野仙踪研究
DOI：
10.1145/1452392.1452444
发表时间：
2008
期刊：
CHI 98 Conference Summary on Human Factors in Computing Systems
影响因子：
--
作者：
Minkyung Lee;M. Billinghurst
通讯作者：
M. Billinghurst