HCC-Small: TextSL: A Virtual World Interface for the Visually Impaired

HCC-Small:TextSL:视障人士的虚拟世界界面

基本信息

项目摘要

The immersive graphics, the large amount of user-generated content, and the social interaction opportunities offered by the greater sophistication of virtual worlds are leading to an explosive growth in their popularity, with millions of participating users. Unfortunately, however, virtual worlds are not accessible to users who are visually impaired. In this project the PI's goal is to alleviate this deficiency by developing a virtual world interface for visually impaired users called TextSL, which is able to extract a textual representation from a virtual world that can be read with a screen reader. Users interact with TextSL by means of a command-based mechanism inspired by multi-user dungeon games. A prototype of the system that allows for a basic form of access to the popular virtual world of Second Life has shown that such an approach is feasible. But the prototype lacks two of the most important features offered by virtual worlds: the ability to create content, and the ability to interact with interactive objects. Additional problems identified by the PI's preliminary work are that less than half of the objects in Second Life have a meaningful descriptive name, which makes the majority of objects invisible to visually impaired users, and that virtual worlds contain such vast amounts of content that merely converting it somehow into a textual description may easily overwhelm the user. To address such challenges, the PI will develop a game based on the "games-with-a-purpose" paradigm that allows sighted users to make virtual worlds accessible to visually impaired users by labeling objects without a name, while also establishing a taxonomy of objects that can be used to provide a more usable form of feedback. He will create a new 3D object recognition algorithm based on the "bag-of-features" approach that takes advantage of the unique way objects are represented in Second Life, and which can efficiently and automatically recognize large numbers of objects without a name. And he will also develop techniques that are able to provide feedback on a user's environment without overwhelming the user with large amounts of information, that are able to convey textually a user's interaction with an interactive object, and that support creation of 3D objects using command or haptic based methods.Broader Impacts: This research will increase the quality of life for the millions of people who are visually impaired, by allowing them to participate more fully in the information society. In particular, the social interaction offered by virtual worlds will benefit people who are visually impaired as well as other individuals whose disabilities often lead to both physical and social isolation. Furthermore, as virtual worlds are increasingly used as educational platforms, access for all to this technology is doubly critical. The interaction models of virtual worlds resemble those of games, so project outcomes may also provide new insights into how to make games accessible to the visually impaired.
沉浸式图形,大量的用户生成的内容,以及由虚拟世界的更复杂性提供的社交互动机会,正在导致其受欢迎程度的爆炸性增长,数百万参与用户。 然而,不幸的是,视觉受损的用户无法访问虚拟世界。 在这个项目中,PI的目标是通过为视障用户开发一个名为TextSL的虚拟世界界面来缓解这一缺陷,该界面能够从虚拟世界中提取可以用屏幕阅读器阅读的文本表示。 用户通过一种受多用户地牢游戏启发的基于命令的机制与TextSL进行交互。 该系统的一个原型,允许一个基本的形式访问流行的虚拟世界的第二人生已经表明,这种方法是可行的。 但是这个原型缺乏虚拟世界提供的两个最重要的功能:创建内容的能力,以及与交互式对象交互的能力。 PI的初步工作发现的其他问题是,第二人生中不到一半的对象有一个有意义的描述性名称,这使得大多数对象对视障用户不可见,虚拟世界包含如此大量的内容,仅仅将其转换为文本描述可能很容易淹没用户。 为了应对这些挑战,PI将开发一款基于“有目的的游戏”范式的游戏,该范式允许视力正常的用户通过标记没有名称的对象来使视觉障碍用户可以访问虚拟世界,同时还建立了一个对象分类,可以用来提供更有用的反馈形式。 他将创建一个新的3D对象识别算法,该算法基于“特征袋”方法,该方法利用了Second Life中对象表示的独特方式,并且可以有效地自动识别大量没有名称的对象。 他还将开发能够提供用户环境反馈的技术,而不会用大量信息淹没用户,能够以文本方式传达用户与交互对象的交互,并支持使用基于命令或触觉的方法创建3D对象。更广泛的影响:这项研究将提高数百万视力受损者的生活质量,使他们能够更充分地参与信息社会。 特别是,虚拟世界提供的社交互动将使视力受损的人以及其他残疾人受益,这些残疾人往往导致身体和社会隔离。 此外,随着虚拟世界越来越多地被用作教育平台,所有人都能获得这种技术就变得更加重要。 虚拟世界的交互模式与游戏相似,因此项目成果也可能为如何使视障人士能够玩游戏提供新的见解。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Eelke Folmer其他文献

Measuring physical exertion in virtual reality exercise games
测量虚拟现实运动游戏中的体力消耗
Improving Accessibility of Virtual Worlds by Automatic Object Labeling
通过自动对象标记提高虚拟世界的可访问性
  • DOI:
    10.1007/978-3-642-41939-3_25
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ilias Apostolopoulos;Eelke Folmer;G. Bebis
  • 通讯作者:
    G. Bebis
ViziCal: accurate energy expenditure prediction for playing exergames
ViziCal:进行运动游戏时准确的能量消耗预测
Blind hero: enabling guitar hero for the visually impaired
盲人英雄:为视障人士提供吉他英雄
  • DOI:
    10.1145/1414471.1414503
  • 发表时间:
    2008
  • 期刊:
  • 影响因子:
    2.8
  • 作者:
    Bei Yuan;Eelke Folmer
  • 通讯作者:
    Eelke Folmer
HARIN: HoloLens Augmented Reality Indoor Navigation
HARIN:HoloLens 增强现实室内导航

Eelke Folmer的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Eelke Folmer', 18)}}的其他基金

CHS: Small: Towards Accommodating Gender Differences in Virtual Reality Sickness
CHS:小:努力适应虚拟现实疾病中的性别差异
  • 批准号:
    1911041
  • 财政年份:
    2019
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
WORKSHOP: Doctoral Consortium at ASSETS 2015
研讨会:2015 年 ASSETS 博士联盟
  • 批准号:
    1551326
  • 财政年份:
    2015
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
EAGER: Guide Drones for Blind Athletes
EAGER:为盲人运动员提供引导无人机
  • 批准号:
    1445380
  • 财政年份:
    2014
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
HCC: Small: Proprioceptive Displays to Engage Blind Users into Healthy Whole Body Interaction
HCC:小:本体感受显示器让盲人用户参与健康的全身互动
  • 批准号:
    1118074
  • 财政年份:
    2011
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Continuing Grant
Developing an Accessible Client for Second life
为第二次生命开发无障碍客户端
  • 批准号:
    0738921
  • 财政年份:
    2007
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

Powering Small Craft with a Novel Ammonia Engine
用新型氨发动机为小型船只提供动力
  • 批准号:
    10099896
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Collaborative R&D
"Small performances": investigating the typographic punches of John Baskerville (1707-75) through heritage science and practice-based research
“小型表演”:通过遗产科学和基于实践的研究调查约翰·巴斯克维尔(1707-75)的印刷拳头
  • 批准号:
    AH/X011747/1
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Research Grant
Fragment to small molecule hit discovery targeting Mycobacterium tuberculosis FtsZ
针对结核分枝杆菌 FtsZ 的小分子片段发现
  • 批准号:
    MR/Z503757/1
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Research Grant
Bacteriophage control of host cell DNA transactions by small ORF proteins
噬菌体通过小 ORF 蛋白控制宿主细胞 DNA 交易
  • 批准号:
    BB/Y004426/1
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Research Grant
Windows for the Small-Sized Telescope (SST) Cameras of the Cherenkov Telescope Array (CTA)
切伦科夫望远镜阵列 (CTA) 小型望远镜 (SST) 相机的窗口
  • 批准号:
    ST/Z000017/1
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Research Grant
CSR: Small: Leveraging Physical Side-Channels for Good
CSR:小:利用物理侧通道做好事
  • 批准号:
    2312089
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
CSR: Small: Multi-FPGA System for Real-time Fraud Detection with Large-scale Dynamic Graphs
CSR:小型:利用大规模动态图进行实时欺诈检测的多 FPGA 系统
  • 批准号:
    2317251
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
AF: Small: Problems in Algorithmic Game Theory for Online Markets
AF:小:在线市场的算法博弈论问题
  • 批准号:
    2332922
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
NeTS: Small: ML-Driven Online Traffic Analysis at Multi-Terabit Line Rates
NeTS:小型:ML 驱动的多太比特线路速率在线流量分析
  • 批准号:
    2331111
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了