Support in the Moment: Benefits and use of video-span selection and search for sign-language video comprehension among ASL learners
Support in the Moment: Benefits and use of video-span selection and search for sign-language video comprehension among ASL learners
复制标题
当前支持：视频范围选择和搜索对 ASL 学习者手语视频理解的好处和使用
DOI：
10.1145/3517428.3544883
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Huenerfauth, Matt
中科院分区：
文献类型：
--
作者：
Hassan, Saad;Amin, Akhter Al;de Lacerda Pataca, Caluã;Navarro, Diego;Gordon, Alexis;Lee, Sooyeon;Huenerfauth, Matt
随着理解技能的发展，美国手语(ASL)学习者经常观看具有挑战性的ASL视频，其中可能包含不熟悉的手势。目前的词典工具要求学生通过选择语言属性或通过在网络摄像头中执行手势来隔离他们不理解的单个手势并输入搜索查询。学生们可能很难提取和重新创建一个不熟悉的标志，他们必须离开观看视频的任务，使用外部词典工具。我们研究了一种技术，该技术使用户能够在此刻，即当他们观看视频时，选择他们不理解的一个或多个符号的跨度，以查看词典结果。我们采访了14名美国手语学习者，了解他们在理解美国手语视频方面面临的挑战，以及如何解决陌生词汇的问题。然后，我们对15名ASL学习者进行了对比研究和深入分析，以调查使用视频子跨度进行搜索的好处，以及他们在视频理解任务中与绿野仙踪原型的互动。我们的研究结果显示，我们的工具在制作视频翻译的质量和感觉到的翻译工作量方面都有好处。我们的深入分析还揭示了集成搜索工具和使用跨度选择来限制视频播放的好处。这些发现为这类系统的未来设计者、致力于基本手势匹配技术的计算机视觉研究人员和手语教育者提供了参考。
As they develop comprehension skills, American Sign Language (ASL) learners often view challenging ASL videos, which may contain unfamiliar signs. Current dictionary tools require students to isolate a single sign they do not understand and input a search query, by selecting linguistic properties or by performing the sign into a webcam. Students may struggle with extracting and re-creating an unfamiliar sign, and they must leave the video-watching task to use an external dictionary tool. We investigate a technology that enables users, in the moment, i.e., while they are viewing a video, to select a span of one or more signs that they do not understand, to view dictionary results. We interviewed 14 American Sign Language (ASL) learners about their challenges in understanding ASL video and workarounds for unfamiliar vocabulary. We then conducted a comparative study and an in-depth analysis with 15 ASL learners to investigate the benefits of using video sub-spans for searching, and their interactions with a Wizard-of-Oz prototype during a video-comprehension task. Our findings revealed benefits of our tool in terms of quality of video translation produced and perceived workload to produce translations. Our in-depth analysis also revealed benefits of an integrated search tool and use of span-selection to constrain video play. These findings inform future designers of such systems, computer vision researchers working on the underlying sign matching technologies, and sign language educators.
登录
查看更多内容
以人为本的手语学习应用程序设计
DOI：
--
发表时间：
2020
期刊：
Petra
影响因子：
--
作者：
J. Schnepp;Rosalee J. Wolfe;Gilbert Brionez;Souad Baowidan;Ronan Johnson;John C. McDonald
通讯作者：
John C. McDonald
2006 年秋季美国高等教育机构非英语语言入学人数
DOI：
10.1632/adfl.39.2.66
发表时间：
2007
期刊：
Adfl
影响因子：
--
作者：
Nelly Furman;D. Goldberg;Natalia Lusin
通讯作者：
Natalia Lusin
用于查找标志含义的集成 RGB-D 系统
DOI：
10.1145/2769493.2769534
发表时间：
2015
期刊：
Proceedings of the 8th ACM International Conference on PErvasive Technologies Related to Assistive Environments
影响因子：
--
作者：
C. Conly;Zhong Zhang;V. Athitsos
通讯作者：
V. Athitsos
难题的一部分：聋哑儿童的美国手语和阅读理解能力。
DOI：
--
发表时间：
2000
期刊：
影响因子：
--
作者：
R. Hoffmeister
通讯作者：
R. Hoffmeister
Adobe Premiere 专业版
DOI：
--
发表时间：
2004
期刊：
影响因子：
--
作者：
Daniel Alonso Moreno
通讯作者：
Daniel Alonso Moreno