Visualization of Speech Prosody and Emotion in Captions: Accessibility for Deaf and Hard-of-Hearing Users
Visualization of Speech Prosody and Emotion in Captions: Accessibility for Deaf and Hard-of-Hearing Users
复制标题
字幕中语音韵律和情感的可视化：聋哑和听力障碍用户的辅助功能
DOI：
10.1145/3544548.3581511
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Huenerfauth, Matt
中科院分区：
文献类型：
--
作者：
de Lacerda Pataca, Caluã;Watkins, Matthew;Peiris, Roshan;Lee, Sooyeon;Huenerfauth, Matt
语音的表达方式是字幕文本无法捕捉的，没有传达情感或强调信息。我们采访了八个聋人和听力困难（dhh）的人，以了解字幕的表达能力是否以及如何影响他们在与听力同行的在线会议。我们发现，自动字幕的语音缺乏情感深度，使其难以解析模糊性和一般的沉闷。受访者经常感到被排除在外，有些人认为这是这类会议的固有性质，而不是当前标题文字设计的结果。接下来，我们开发了三种新颖的字幕模型，除了文字之外，还描述了韵律，情感以及两者的混合特征。在一项实证研究中，16名dhh参与者将这些模型与传统字幕进行了比较。基于情感的模型在描述情感和强调方面优于传统的字幕，在易读性方面只有适度的损失，这表明它有潜力成为更具包容性的字幕设计。
Speech is expressive in ways that caption text does not capture, with emotion or emphasis information not conveyed. We interviewed eight Deaf and Hard-of-Hearing (dhh) individuals to understand if and how captions’ inexpressiveness impacts them in online meetings with hearing peers. Automatically captioned speech, we found, lacks affective depth, lending it a hard-to-parse ambiguity and general dullness. Interviewees regularly feel excluded, which some understand is an inherent quality of these types of meetings rather than a consequence of current caption text design. Next, we developed three novel captioning models that depicted, beyond words, features from prosody, emotions, and a mix of both. In an empirical study, 16 dhh participants compared these models with conventional captions. The emotion-based model outperformed traditional captions in depicting emotions and emphasis, with only a moderate loss in legibility, suggesting its potential as a more inclusive design for captions.
登录
查看更多内容
通过 Live Transcribe 打破界限：将用例扩展到标准字幕场景之外
DOI：
--
发表时间：
2020
期刊：
International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
F. Loizides;Sara H. Basson;D. Kanevsky;Olga Prilepova;Sagar Savla;Susanna Zaraysky
通讯作者：
Susanna Zaraysky
聋哑和听力障碍用户的电话会议辅助功能和指南
DOI：
10.1145/3373625.3417299
发表时间：
2020
期刊：
ASSETS '20: The 22nd International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
Kushalnagar, Raja S.;Vogler, Christian
通讯作者：
Vogler, Christian
巴西葡萄牙语的韵律和情感
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
João Antônio de Moraes;Albert Rilliard
通讯作者：
Albert Rilliard
通过言语对真实情感的跨文化和跨语言感知：针对巴西和瑞典听众的声学语音研究
DOI：
--
发表时间：
2016
期刊：
影响因子：
--
作者：
Wellington da Silva;P. Barbosa;Åsa Abelin
通讯作者：
Åsa Abelin
typeEm：代表文本情感的生成字体
DOI：
--
发表时间：
2019
期刊：
ARTECH
影响因子：
--
作者：
Catarina Maçãs;D. Palma;Artur Rebelo
通讯作者：
Artur Rebelo