Exploring the Design Space of Automatically Generated Emotive Captions for Deaf or Hard of Hearing Users
Exploring the Design Space of Automatically Generated Emotive Captions for Deaf or Hard of Hearing Users
复制标题
探索为聋哑或听力障碍用户自动生成情感字幕的设计空间
DOI：
10.1145/3544549.3585880
复制
发表时间：
2023
期刊：
影响因子：
--
通讯作者：
Gilbert, Brenden
中科院分区：
文献类型：
--
作者：
Hassan, Saad;Ding, Yao;Kerure, Agneya Abhimanyu;Miller, Christi;Burnett, John;Biondo, Emily;Gilbert, Brenden
字幕文本向聋人或听力障碍（DHH）观众传达了显著的听觉信息。然而，语音中的情感信息没有被捕获。我们开发了三个情感字幕模式，将基于音频的情感检测模型的输出映射到可以传达潜在情感的表达性字幕文本。这三种模式对文本进行了排版更改，颜色更改，或两者兼而有之。接下来，我们设计了一个Unity框架来实现这些模式，并使用它来生成刺激视频。在一个实验评估与28 DHH观众，我们比较了DHH观众的能力，理解情绪和他们的主观判断在三个字幕图式。我们发现，参与者根据标题或主观偏好评级理解情绪的能力没有显着差异。开放式反馈揭示了参与者偏好个体差异的因素，并通过自动生成的情感标题激发未来的工作。
Caption text conveys salient auditory information to deaf or hard-of-hearing (DHH) viewers. However, the emotional information within the speech is not captured. We developed three emotive captioning schemas that map the output of audio-based emotion detection models to expressive caption text that can convey underlying emotions. The three schemas used typographic changes to the text, color changes, or both. Next, we designed a Unity framework to implement these schemas and used it to generate stimuli videos. In an experimental evaluation with 28 DHH viewers, we compared DHH viewers’ ability to understand emotions and their subjective judgments across the three captioning schemas. We found no significant difference in participants’ ability to understand the emotion based on the captions or their subjective preference ratings. Open-ended feedback revealed factors contributing to individual differences in preferences among the participants and challenges with automatically generated emotive captions that motivate future work.
登录
查看更多内容
观看电视期间对音频、视频和视听感官通道的持续情绪反应
DOI：
10.58997/smc.v28i1.55
发表时间：
2019
期刊：
Southwestern Mass Communication Journal
影响因子：
--
作者：
Johnny V. Sparks;Wan;Sungwon Chung
通讯作者：
Sungwon Chung
韵律字体：将语音转化为图形
DOI：
10.1145/632716.632872
发表时间：
1999
期刊：
CHI '99 Extended Abstracts on Human Factors in Computing Systems
影响因子：
--
作者：
T. Shankar;R. MacNeil
通讯作者：
R. MacNeil
情感字幕
DOI：
10.1145/1279540.1279551
发表时间：
2007
期刊：
Comput. Entertain.
影响因子：
--
作者：
Daniel G. Lee;D. Fels;J. Udo
通讯作者：
J. Udo
影视中的情感、类型、正义：感知情感
DOI：
10.4324/9780203819135
发表时间：
2011
期刊：
Proceedings of the 18th International Web for All Conference
影响因子：
--
作者：
E. D. Pribram
通讯作者：
E. D. Pribram
«Máquina de Ouver» - 从声音到类型：通过将声音特征映射到印刷变量来查找语音的视觉表示
DOI：
10.1145/3359852.3359892
发表时间：
2019
期刊：
Proceedings of the 9th International Conference on Digital and Interactive Arts
影响因子：
--
作者：
João Couceiro e Castro;Pedro Martins;A. Boavida;Penousal Machado
通讯作者：
Penousal Machado