HCC-Small: TextSL: A Virtual World Interface for the Visually Impaired

HCC-Small:TextSL:视障人士的虚拟世界界面

基本信息

项目摘要

The immersive graphics, the large amount of user-generated content, and the social interaction opportunities offered by the greater sophistication of virtual worlds are leading to an explosive growth in their popularity, with millions of participating users. Unfortunately, however, virtual worlds are not accessible to users who are visually impaired. In this project the PI's goal is to alleviate this deficiency by developing a virtual world interface for visually impaired users called TextSL, which is able to extract a textual representation from a virtual world that can be read with a screen reader. Users interact with TextSL by means of a command-based mechanism inspired by multi-user dungeon games. A prototype of the system that allows for a basic form of access to the popular virtual world of Second Life has shown that such an approach is feasible. But the prototype lacks two of the most important features offered by virtual worlds: the ability to create content, and the ability to interact with interactive objects. Additional problems identified by the PI's preliminary work are that less than half of the objects in Second Life have a meaningful descriptive name, which makes the majority of objects invisible to visually impaired users, and that virtual worlds contain such vast amounts of content that merely converting it somehow into a textual description may easily overwhelm the user. To address such challenges, the PI will develop a game based on the "games-with-a-purpose" paradigm that allows sighted users to make virtual worlds accessible to visually impaired users by labeling objects without a name, while also establishing a taxonomy of objects that can be used to provide a more usable form of feedback. He will create a new 3D object recognition algorithm based on the "bag-of-features" approach that takes advantage of the unique way objects are represented in Second Life, and which can efficiently and automatically recognize large numbers of objects without a name. And he will also develop techniques that are able to provide feedback on a user's environment without overwhelming the user with large amounts of information, that are able to convey textually a user's interaction with an interactive object, and that support creation of 3D objects using command or haptic based methods.Broader Impacts: This research will increase the quality of life for the millions of people who are visually impaired, by allowing them to participate more fully in the information society. In particular, the social interaction offered by virtual worlds will benefit people who are visually impaired as well as other individuals whose disabilities often lead to both physical and social isolation. Furthermore, as virtual worlds are increasingly used as educational platforms, access for all to this technology is doubly critical. The interaction models of virtual worlds resemble those of games, so project outcomes may also provide new insights into how to make games accessible to the visually impaired.
身临其境的图形、大量的用户生成内容以及更复杂的虚拟世界提供的社交机会正在导致它们的受欢迎程度爆炸性增长,有数百万用户参与其中。然而,不幸的是,视障用户无法访问虚拟世界。在这个项目中,PI的目标是通过为视障用户开发一个名为TextSL的虚拟世界界面来缓解这一缺陷,该界面能够从虚拟世界中提取可用屏幕阅读器阅读的文本表示。用户通过受多用户地下城游戏启发的基于命令的机制与TextSL交互。该系统的一个原型表明,这种方法是可行的。该系统允许以一种基本形式进入流行的虚拟世界第二人生。但原型缺乏虚拟世界提供的两个最重要的功能:创造内容的能力,以及与互动对象互动的能力。PI的初步工作发现的其他问题是,在Second Life中,只有不到一半的物体具有有意义的描述性名称,这使得大多数物体对视障用户来说是看不见的,而且虚拟世界包含如此大量的内容,以至于仅仅将其以某种方式转换为文本描述可能很容易让用户不知所措。为了应对这些挑战,PI将开发一款基于“有目的的游戏”模式的游戏,允许有视力的用户通过标记没有名字的对象来使视障用户能够访问虚拟世界,同时还建立了可以用来提供更可用的反馈形式的对象的分类。他将创建一种新的3D物体识别算法,该算法基于“特征袋”方法,利用第二人生中物体的独特表现方式,可以高效、自动地识别大量没有名字的物体。他还将开发一些技术,这些技术能够在不向用户提供大量信息的情况下提供对用户环境的反馈,能够以文本形式传达用户与交互对象的交互,并支持使用基于命令或触觉的方法创建3D对象。布罗德影响:这项研究将通过让数百万视障人士更充分地参与信息社会,提高他们的生活质量。特别是,虚拟世界提供的社交互动将使视障人士以及其他残疾人士受益,他们的残疾往往会导致身体和社会孤立。此外,随着虚拟世界越来越多地被用作教育平台,让所有人都能接触到这项技术变得加倍关键。虚拟世界的交互模型类似于游戏的交互模型,因此项目成果也可能为如何让视障人士访问游戏提供新的见解。

项目成果

期刊论文数量(0)
专著数量(0)
科研奖励数量(0)
会议论文数量(0)
专利数量(0)

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

数据更新时间:{{ journalArticles.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ monograph.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ sciAawards.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ conferencePapers.updateTime }}

{{ item.title }}
  • 作者:
    {{ item.author }}

数据更新时间:{{ patent.updateTime }}

Eelke Folmer其他文献

Measuring physical exertion in virtual reality exercise games
测量虚拟现实运动游戏中的体力消耗
Improving Accessibility of Virtual Worlds by Automatic Object Labeling
通过自动对象标记提高虚拟世界的可访问性
  • DOI:
    10.1007/978-3-642-41939-3_25
  • 发表时间:
    2013
  • 期刊:
  • 影响因子:
    0
  • 作者:
    Ilias Apostolopoulos;Eelke Folmer;G. Bebis
  • 通讯作者:
    G. Bebis
ViziCal: accurate energy expenditure prediction for playing exergames
ViziCal:进行运动游戏时准确的能量消耗预测
HARIN: HoloLens Augmented Reality Indoor Navigation
HARIN:HoloLens 增强现实室内导航
Case studies on analyzing software architectures for usability
分析软件架构可用性的案例研究

Eelke Folmer的其他文献

{{ item.title }}
{{ item.translation_title }}
  • DOI:
    {{ item.doi }}
  • 发表时间:
    {{ item.publish_year }}
  • 期刊:
  • 影响因子:
    {{ item.factor }}
  • 作者:
    {{ item.authors }}
  • 通讯作者:
    {{ item.author }}

{{ truncateString('Eelke Folmer', 18)}}的其他基金

CHS: Small: Towards Accommodating Gender Differences in Virtual Reality Sickness
CHS:小:努力适应虚拟现实疾病中的性别差异
  • 批准号:
    1911041
  • 财政年份:
    2019
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
WORKSHOP: Doctoral Consortium at ASSETS 2015
研讨会:2015 年 ASSETS 博士联盟
  • 批准号:
    1551326
  • 财政年份:
    2015
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
EAGER: Guide Drones for Blind Athletes
EAGER:为盲人运动员提供引导无人机
  • 批准号:
    1445380
  • 财政年份:
    2014
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
HCC: Small: Proprioceptive Displays to Engage Blind Users into Healthy Whole Body Interaction
HCC:小:本体感受显示器让盲人用户参与健康的全身互动
  • 批准号:
    1118074
  • 财政年份:
    2011
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Continuing Grant
Developing an Accessible Client for Second life
为第二次生命开发无障碍客户端
  • 批准号:
    0738921
  • 财政年份:
    2007
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant

相似国自然基金

昼夜节律性small RNA在血斑形成时间推断中的法医学应用研究
  • 批准号:
  • 批准年份:
    2024
  • 资助金额:
    0.0 万元
  • 项目类别:
    省市级项目
tRNA-derived small RNA上调YBX1/CCL5通路参与硼替佐米诱导慢性疼痛的机制研究
  • 批准号:
    n/a
  • 批准年份:
    2022
  • 资助金额:
    10.0 万元
  • 项目类别:
    省市级项目
Small RNA调控I-F型CRISPR-Cas适应性免疫性的应答及分子机制
  • 批准号:
    32000033
  • 批准年份:
    2020
  • 资助金额:
    24.0 万元
  • 项目类别:
    青年科学基金项目
Small RNAs调控解淀粉芽胞杆菌FZB42生防功能的机制研究
  • 批准号:
    31972324
  • 批准年份:
    2019
  • 资助金额:
    58.0 万元
  • 项目类别:
    面上项目
变异链球菌small RNAs连接LuxS密度感应与生物膜形成的机制研究
  • 批准号:
    81900988
  • 批准年份:
    2019
  • 资助金额:
    21.0 万元
  • 项目类别:
    青年科学基金项目
肠道细菌关键small RNAs在克罗恩病发生发展中的功能和作用机制
  • 批准号:
    31870821
  • 批准年份:
    2018
  • 资助金额:
    56.0 万元
  • 项目类别:
    面上项目
基于small RNA 测序技术解析鸽分泌鸽乳的分子机制
  • 批准号:
    31802058
  • 批准年份:
    2018
  • 资助金额:
    26.0 万元
  • 项目类别:
    青年科学基金项目
Small RNA介导的DNA甲基化调控的水稻草矮病毒致病机制
  • 批准号:
    31772128
  • 批准年份:
    2017
  • 资助金额:
    60.0 万元
  • 项目类别:
    面上项目
基于small RNA-seq的针灸治疗桥本甲状腺炎的免疫调控机制研究
  • 批准号:
    81704176
  • 批准年份:
    2017
  • 资助金额:
    20.0 万元
  • 项目类别:
    青年科学基金项目
水稻OsSGS3与OsHEN1调控small RNAs合成及其对抗病性的调节
  • 批准号:
    91640114
  • 批准年份:
    2016
  • 资助金额:
    85.0 万元
  • 项目类别:
    重大研究计划

相似海外基金

CSR: Small: Leveraging Physical Side-Channels for Good
CSR:小:利用物理侧通道做好事
  • 批准号:
    2312089
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
NeTS: Small: NSF-DST: Modernizing Underground Mining Operations with Millimeter-Wave Imaging and Networking
NeTS:小型:NSF-DST:利用毫米波成像和网络实现地下采矿作业现代化
  • 批准号:
    2342833
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
CPS: Small: NSF-DST: Autonomous Operations of Multi-UAV Uncrewed Aerial Systems using Onboard Sensing to Monitor and Track Natural Disaster Events
CPS:小型:NSF-DST:使用机载传感监测和跟踪自然灾害事件的多无人机无人航空系统自主操作
  • 批准号:
    2343062
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Reservoir Computing with Ion-Channel-Based Memristors
合作研究:FET:小型:基于离子通道忆阻器的储层计算
  • 批准号:
    2403559
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
オミックス解析を用いたブドウ球菌 small colony variants の包括的特徴づけ
使用组学分析全面表征葡萄球菌小菌落变体
  • 批准号:
    24K13443
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Grant-in-Aid for Scientific Research (C)
AF: Small: Problems in Algorithmic Game Theory for Online Markets
AF:小:在线市场的算法博弈论问题
  • 批准号:
    2332922
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
Collaborative Research: FET: Small: Algorithmic Self-Assembly with Crisscross Slats
合作研究:FET:小型:十字交叉板条的算法自组装
  • 批准号:
    2329908
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
NeTS: Small: ML-Driven Online Traffic Analysis at Multi-Terabit Line Rates
NeTS:小型:ML 驱动的多太比特线路速率在线流量分析
  • 批准号:
    2331111
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331302
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
Collaborative Research: SHF: Small: LEGAS: Learning Evolving Graphs At Scale
协作研究:SHF:小型:LEGAS:大规模学习演化图
  • 批准号:
    2331301
  • 财政年份:
    2024
  • 资助金额:
    $ 49.93万
  • 项目类别:
    Standard Grant
{{ showInfoDetail.title }}

作者:{{ showInfoDetail.author }}

知道了