Multicraft: A Multimodal Interface for Supporting and Studying Learning in Minecraft
Multicraft: A Multimodal Interface for Supporting and Studying Learning in Minecraft
复制标题
Multicraft：用于支持和学习 Minecraft 学习的多模式界面
DOI：
10.1007/978-3-030-77414-1_10
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Jiang, M.
中科院分区：
文献类型：
--
作者：
Worsley, M.;Mendoza Tudares, K.;Mwiti, T.;Zhen, M.;Jiang, M.
在本文中，我们介绍了将多通道交互引入到我的世界中的工作。这个名为Multicraft的平台整合了基于语音的输入、眼球跟踪和自然语言理解，以促进《我的世界》中更公平的游戏。我们通过一系列研究对该平台进行了测试，对象包括中小学生和大学生。学生们发现，提供的每一种模式都是玩《我的世界》的一种令人信服的方式。此外，我们还讨论了如何使用这些不同类型的多模式数据来识别学生在玩《我的世界》时演示的有意义的空间推理实践。总而言之，本文强调的是，多模式界面与收集丰富数据的手段之间架起了桥梁，可以更好地支持非传统学习环境中的不同学习者。
In this paper, we present work on bringing multimodal interaction to Minecraft. The platform, Multicraft, incorporates speech-based input, eye tracking, and natural language understanding to facilitate more equitable gameplay in Minecraft. We tested the platform with elementary, middle school students and college students through a collection of studies. Students found each of the provided modalities to be a compelling way to play Minecraft. Additionally, we discuss the ways that these different types of multimodal data can be used to identify the meaningful spatial reasoning practices that students demonstrate while playing Minecraft. Collectively, this paper emphasizes the opportunity to bridge a multimodal interface with a means for collecting rich data that can better support diverse learners in non-traditional learning environments.
登录
查看更多内容
真实谢泼德-梅茨勒人物的心理旋转：一项眼动追踪研究
影响因子：
1.8
作者：
Shannon Fitzhugh;T. Shipley;N. Newcombe;Kathleen McKenna;D. Dumay
通讯作者：
D. Dumay
多模式多人桌面游戏
DOI：
10.1145/1279540.1279552
发表时间：
2007
期刊：
Comput. Entertain.
影响因子：
--
作者：
Edward Tse;S. Greenberg;Chia Shen;C. Forlines
通讯作者：
C. Forlines
你愿意成为我的吗：将《我的世界》用作自闭症青少年的辅助技术
DOI：
10.1145/2982142.2982172
发表时间：
2016
期刊：
Proceedings of the 18th International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
Kathryn E. Ringland;Christine T. Wolf;Louanne E. Boyd;Mark S. Baldwin;Gillian R. Hayes
通讯作者：
Gillian R. Hayes
《我的世界》中的制作：自闭症青少年自我表达的一种方式
DOI：
10.1145/3078072.3079749
发表时间：
2017
期刊：
Proceedings of the 2017 Conference on Interaction Design and Children
影响因子：
--
作者：
Kathryn E. Ringland;Louanne E. Boyd;Heather A. Faucett;Amanda L. L. Cullen;Gillian R. Hayes
通讯作者：
Gillian R. Hayes
理清视频游戏中的空间技能、游戏功能和性别之间的关系
DOI：
10.1145/3025171.3025225
发表时间：
2017
期刊：
Proceedings of the 22nd International Conference on Intelligent User Interfaces
影响因子：
--
作者：
H. Wauck;Ziang Xiao;Po;W. Fu
通讯作者：
W. Fu