Designing and Experimentally Evaluating a Video-based American Sign Language Look-up System
Designing and Experimentally Evaluating a Video-based American Sign Language Look-up System
复制标题
基于视频的美国手语查找系统的设计和实验评估
DOI：
10.1145/3498366.3505804
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Hassan, Saad
中科院分区：
文献类型：
--
作者：
Hassan, Saad
尽管有一些先前的研究和商业系统，如果有人看到一个不熟悉的美国手语（ASL）单词，并希望在字典中查找其含义，这仍然是一项艰巨的任务。没有标准的标签，用户可以键入搜索一个标志，并制定一个基于语言属性的查询是具有挑战性的学生学习美国手语。手语识别技术的进步将很快使人们能够设计一个搜索系统，用于在字典中查找ASL单词，允许用户通过提交他们自己表演他们认为在某处遇到的单词的视频来生成查询。然后，用户将查看视频剪辑或动画的结果列表，以寻找所需的单词。在这项研究中，我们正在调查这样一个拟议的系统，基于网络摄像头的ASL字典系统，使用向导的奥兹原型和增强的设计，使其能够支持手语单词查找，即使当底层的标志识别技术的性能是低的可用性。我们还调查了学生学习美国手语的要求方面的结果应该如何显示，以及如何系统可以使他们能够过滤的结果的初始查询，以帮助他们搜索所需的单词。我们比较了用户的满意度时，使用一个系统，或没有后查询过滤功能。我们讨论我们即将进行的研究，以调查用户的经验与工作原型的基础上，正在设计的实际标志识别技术。最后，我们讨论了这项工作的扩展到用户搜索其他人类运动的视频数据集，例如舞蹈动作，或搜索其他语言中的单词时。
Despite some prior research and commercial systems, if someone sees an unfamiliar American Sign Language (ASL) word and wishes to look up its meaning in a dictionary, this remains a difficult task. There is no standard label a user can type to search for a sign, and formulating a query based on linguistic properties is challenging for students learning ASL. Advances in sign-language recognition technology will soon enable the design of a search system for ASL word look-up in dictionaries, by allowing users to generate a query by submitting a video of themselves performing the word they believe they encountered somewhere. Users would then view a results list of video clips or animations, to seek the desired word. In this research, we are investigating the usability of such a proposed system, a webcam-based ASL dictionary system, using a Wizard-of-Oz prototype and enhanced the design so that it can support sign language word look-up even when the performance of the underlying sign-recognition technology is low. We have also investigated the requirements of students learning ASL in regard to how results should be displayed and how a system could enable them to filter the results of the initial query, to aid in their search for a desired word. We compared users’ satisfaction when using a system with or without post-query filtering capabilities. We discuss our upcoming study to investigate users’ experience with a working prototype based on actual sign-recognition technology that is being designed. Finally, we discuss extensions of this work to the context of users searching datasets of videos of other human movements, e.g. dance moves, or when searching for words in other languages.
登录
查看更多内容
2006 年秋季美国高等教育机构非英语语言入学人数
DOI：
10.1632/adfl.39.2.66
发表时间：
2007
期刊：
Adfl
影响因子：
--
作者：
Nelly Furman;D. Goldberg;Natalia Lusin
通讯作者：
Natalia Lusin
影响因子：
1.5
作者：
Mitchell, Ross E.;Young, Travas A.;Karchmer, Michael A.
通讯作者：
Karchmer, Michael A.
手语翻译和文本替代品对聋哑学生课堂学习的好处。
影响因子：
2
作者：
Marschark,Marc;Leigh,Greg;Sapere,Patricia;Burnham,Denis;Convertino,Carol;Stinson,Michael;Knoors,Harry;Vervloed,MathijsPJ;Noble,William
通讯作者：
Noble,William
用户驱动的美国手语词典
DOI：
10.1145/2675133.2675226
发表时间：
2015
期刊：
Proceedings of the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing
影响因子：
--
作者：
Danielle Bragg;Kyle Rector;R. Ladner
通讯作者：
R. Ladner
使用 Web3D 技术对国际手语词典中的符号进行可视化和搜索
DOI：
--
发表时间：
2007
期刊：
International Conference on 3D Technologies for the World Wide Web
影响因子：
--
作者：
Fabio Buttussi;L. Chittaro;Marco Coppo
通讯作者：
Marco Coppo