Visualization of Speech Prosody and Emotion in Captions: Accessibility for Deaf and Hard-of-Hearing Users
Visualization of Speech Prosody and Emotion in Captions: Accessibility for Deaf and Hard-of-Hearing Users
复制标题
字幕中语音韵律和情感的可视化：聋哑和听力障碍用户的辅助功能
DOI：
10.1145/3544548.3581511
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Huenerfauth, Matt
中科院分区：
文献类型：
--
作者：
de Lacerda Pataca, Caluã;Watkins, Matthew;Peiris, Roshan;Lee, Sooyeon;Huenerfauth, Matt
语音的表达方式是字幕文本无法捕捉的，没有传达情感或强调信息。我们采访了八个聋人和听力困难（dhh）的人，以了解字幕的表达能力是否以及如何影响他们在与听力同行的在线会议。我们发现，自动字幕的语音缺乏情感深度，使其难以解析模糊性和一般的沉闷。受访者经常感到被排除在外，有些人认为这是这类会议的固有性质，而不是当前标题文字设计的结果。接下来，我们开发了三种新颖的字幕模型，除了文字之外，还描述了韵律，情感以及两者的混合特征。在一项实证研究中，16名dhh参与者将这些模型与传统字幕进行了比较。基于情感的模型在描述情感和强调方面优于传统的字幕，在易读性方面只有适度的损失，这表明它有潜力成为更具包容性的字幕设计。
Speech is expressive in ways that caption text does not capture, with emotion or emphasis information not conveyed. We interviewed eight Deaf and Hard-of-Hearing (dhh) individuals to understand if and how captions’ inexpressiveness impacts them in online meetings with hearing peers. Automatically captioned speech, we found, lacks affective depth, lending it a hard-to-parse ambiguity and general dullness. Interviewees regularly feel excluded, which some understand is an inherent quality of these types of meetings rather than a consequence of current caption text design. Next, we developed three novel captioning models that depicted, beyond words, features from prosody, emotions, and a mix of both. In an empirical study, 16 dhh participants compared these models with conventional captions. The emotion-based model outperformed traditional captions in depicting emotions and emphasis, with only a moderate loss in legibility, suggesting its potential as a more inclusive design for captions.
登录
查看更多内容
通过 Live Transcribe 打破界限：将用例扩展到标准字幕场景之外
DOI：
--
发表时间：
2020
期刊：
International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
F. Loizides;Sara H. Basson;D. Kanevsky;Olga Prilepova;Sagar Savla;Susanna Zaraysky
通讯作者：
Susanna Zaraysky
韵律字体：将语音转化为图形
DOI：
10.1145/632716.632872
发表时间：
1999
期刊：
CHI '99 Extended Abstracts on Human Factors in Computing Systems
影响因子：
--
作者：
T. Shankar;R. MacNeil
通讯作者：
R. MacNeil
情感字幕
DOI：
10.1145/1279540.1279551
发表时间：
2007
期刊：
Comput. Entertain.
影响因子：
--
作者：
Daniel G. Lee;D. Fels;J. Udo
通讯作者：
J. Udo
«Máquina de Ouver» - 从声音到类型：通过将声音特征映射到印刷变量来查找语音的视觉表示
DOI：
10.1145/3359852.3359892
发表时间：
2019
期刊：
Proceedings of the 9th International Conference on Digital and Interactive Arts
影响因子：
--
作者：
João Couceiro e Castro;Pedro Martins;A. Boavida;Penousal Machado
通讯作者：
Penousal Machado
聋哑和听力障碍用户的电话会议辅助功能和指南
DOI：
10.1145/3373625.3417299
发表时间：
2020
期刊：
ASSETS '20: The 22nd International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
Kushalnagar, Raja S.;Vogler, Christian
通讯作者：
Vogler, Christian