EyeDescribe: Combining Eye Gaze and Speech to Automatically Create Accessible Touch Screen Artwork
EyeDescribe: Combining Eye Gaze and Speech to Automatically Create Accessible Touch Screen Artwork
复制标题
EyeDescribe：结合眼睛注视和语音自动创建可访问的触摸屏艺术品
DOI：
10.1145/3343055.3359722
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Kane, Shaun K.
中科院分区：
文献类型：
--
作者：
Reinholt, Kyle;Guinness, Darren;Kane, Shaun K.
Web上的许多图像，包括照片和艺术图像，都具有对象之间的空间关系，即使提供了文本描述，盲人或视障人士也无法访问这些对象。虽然有一些工具可以手动创建可访问的图像描述，但这项工作非常耗时，需要专门的工具。我们介绍了一种方法，自动创建空间注册的图像标签的基础上，一个有视力的人如何自然地与图像进行交互。我们的系统收集行为数据，从有视力的观众的图像，特别是眼睛凝视数据和口头描述，并使用它们来生成一个空间索引的可访问的图像，然后可以探索使用基于音频的触摸屏应用程序。我们描述了我们的方法来分配文本标签的位置在图像的基础上眼睛注视。然后，我们报告了两个形成性研究与盲人用户测试EyeDescribe。我们的方法为图像集中的所有对象提供了正确的标签。参与者能够更好地回忆对象的位置时，给予对象标签和空间位置。这种方法提供了一种新的方法，可以用最少的工作量创建可访问的图像。
Many images on the Web, including photographs and artistic images, feature spatial relationships between objects that are inaccessible to someone who is blind or visually impaired even when a text description is provided. While some tools exist to manually create accessible image descriptions, this work is time consuming and requires specialized tools. We introduce an approach that automatically creates spatially registered image labels based on how a sighted person naturally interacts with the image. Our system collects behavioral data from sighted viewers of an image, specifically eye gaze data and spoken descriptions, and uses them to generate a spatially indexed accessible image that can then be explored using an audio-based touch screen application. We describe our approach to assigning text labels to locations in an image based on eye gaze. We then report on two formative studies with blind users testing EyeDescribe. Our approach resulted in correct labels for all objects in our image set. Participants were able to better recall the location of objects when given both object labels and spatial locations. This approach provides a new method for creating accessible images with minimum required effort.
登录
查看更多内容
无眼艺术
DOI：
--
发表时间：
2017
期刊：
Proceedings of the ACM on Interactive Mobile Wearable and Ubiquitous Technologies
影响因子：
--
作者：
Kyle Rector;Keith Salmon;Dan Thornton;Neel Joshi;M. Morris
通讯作者：
M. Morris
眼跳系统中眼球运动的控制。
DOI：
--
发表时间：
1972
期刊：
Bibliotheca ophthalmologica : supplementa ad ophthalmologica
影响因子：
--
作者：
W. Becker
通讯作者：
W. Becker
WebInSight:: 使网络图像易于访问
DOI：
--
发表时间：
2006
期刊：
International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
Jeffrey P. Bigham;R. S. Kaminsky;R. Ladner;Oscar M. Danielsson;Gordon L. Hempton
通讯作者：
Gordon L. Hempton
DOI：
--
发表时间：
2005
期刊：
International ACM SIGACCESS Conference on Computers and Accessibility
影响因子：
--
作者：
R. Ladner;M. Ivory;Rajesh P. N. Rao;S. Burgstahler;D. Comden;Sangyun Hahn;M. Renzelmann;Satria Krisnandi;Mahalakshmi Ramasamy;Beverly Slabosky;Andrew Martin;Amelia Lacenski;S. Olsen;Dmitri Groce
通讯作者：
Dmitri Groce
数字转换器听觉图：让视障人士也能看懂图表
DOI：
--
发表时间：
2010
期刊：
CHI Extended Abstracts
影响因子：
--
作者：
S. Choi;B. Walker
通讯作者：
B. Walker