课题基金基金详情
适用于盲人儿童的基于听觉和触觉的多模态交互式实物编程环境研究及设计
结题报告
批准号:
61907037
项目类别:
青年科学基金项目
资助金额:
17.0 万元
负责人:
朱克宁
学科分类:
F0701.教育信息科学与技术
结题年份:
2022
批准年份:
2019
项目状态:
已结题
项目参与者:
--
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
儿童编程教育已经在国内外受到越来越多的关注。但是,现今流行的基于视觉的儿童编程环境对于盲童并不适用,使盲童得不到同等的学习条件和机会。本项目以7-10岁盲童作为目标用户,先针对粤港澳地区的盲童做试点,研究基于听觉与触觉的多模态交互式实物儿童编程环境。本项目将开展以下几方面的工作:实地调研盲童的感知和认知能力以及对计算机编程的直观认识;建立盲童编程的用户模型及交互模型;根据“低地板高天花板宽墙壁”的特点,研究开发基于听觉与触觉的程序输入输出模块以及可自定义的实物程序控件;整合开发多模态交互式实物编程环境系统;对不同的系统原型进行用户评估,对比用户体验和学习效果。广义上,本项目拟研发的基于听觉和触觉的实物编程环境也适用于非盲儿童,为盲人儿童和非盲儿童协同学习提供可能。本项目的研究工作将解决盲童编程环境设计和开发面临的关键问题,使儿童计算机编程教育得到更广泛的普及。
英文摘要
While the trend of kids coding has boosted globally, the current highly visual kids-coding tools are not suitable for blind children, causing an unequal situation for them to learn coding and computational thinking. There currently lacks sufficient research on how to make coding education suitable for this group of children, and there is no specific learning tool for them all over the world. Targeting blind children from 7 to 10 years-old, this project aims to investigate the user model and the interaction model of blind children coding, and develop an auditory- and tactile-based multimodal tangible programming environment. There are five main parts in this project: Firstly, we will investigate the perceptual and the cognitive ability of blind kids through field study and participatory design workshop; we then conceptualize the user model and the interaction model of blind children learning coding; Based on the theoretical models and the design requirement of “low floor high ceiling and wide walls”, we will design and develop a set of auditory- and tactile-based tangible coding input and output modules, and customizable tangible coding sprites; and then develop a list of integrated coding environments by combining different input and output modules; Finally, we will conduct between-subject user studies, to compare the user experience and the learning outcome of different prototypes. In a macro scale, the proposed system will be also suitable for non-blind children, making it possible for blind and non-blind children to collaboratively learn coding together. With this project, we aim to provide solutions on the problem of blind children learning programming, and make children coding education more popularized.
儿童编程教育已经在国内外受到越来越多的关注。但是,现今流行的基于视觉的儿童编程环境对于盲童并不适用,使盲童得不到同等的学习条件和机会。本项目以7-10岁盲童作为目标用户,研究基于听觉与触觉的多模态交互式实物儿童编程环境及工具。本项目开展了以下几方面的工作:通过实地考察建立盲童编程的用户模型及交互模型;根据“低地板高天花板宽墙壁”的特点,研究开发基于听觉与触觉的程序输入输出模块以及可自定义的实物程序控件及学习平台;对不同的系统原型进行用户评估,对比用户体验和学习效果;探索适用于盲人的多模态前沿技术。通过实地考察,我们发现盲童主要通过触摸和体感来学习不同的知识概念。因此,我们针对性地设计了基.于音乐的用于视障儿童学习计算机编程的实体编程模块CodeRhythm,用户实验体现了系统优良的用户体验。在前沿探索方面,我们实验了不同的触觉反馈技术,包括热感、震感、压感等等,并探索了它们在不同领域的针对盲人人机交互的应用。项目成果发表于人机交互相关领域的优秀会议及期刊,部分获得优秀论文奖。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
GestOnHMD: Enabling Gesture-based Interaction on Low-cost VR Head-Mounted Display
GestOnHMD:在低成本 VR 头戴式显示器上实现基于手势的交互
DOI:10.1109/tvcg.2021.3067689
发表时间:2021-05-01
期刊:IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS
影响因子:5.2
作者:Chen, Taizhou;Xu, Lantian;Zhu, Kening
通讯作者:Zhu, Kening
GAN-based image-to-friction generation for tactile simulation of fabric material
基于 GAN 的图像到摩擦生成,用于织物材料的触觉模拟
DOI:10.1016/j.cag.2021.09.007
发表时间:2021-09
期刊:Computers & Graphics
影响因子:--
作者:Shaoyu Cai;Lu Zhao;Yuki Ban;Takuji Narumi;Yue Liu;Kening Zhu
通讯作者:Kening Zhu
PropelWalker: A Leg-Based Wearable System With Propeller-Based Force Feedback for Walking in Fluids in VR.
PropelWalker:一种基于腿部的可穿戴系统,具有基于螺旋桨的力反馈,可在 VR 中的流体中行走。
DOI:10.1109/tvcg.2022.3205181
发表时间:2022
期刊:IEEE Transactions on Visualization and Computer Graphics
影响因子:5.2
作者:Pingchuan Ke;Shaoyu Cai;Haichen Gao;Kening Zhu
通讯作者:Kening Zhu
Visual-Tactile Cross-Modal Data Generation Using Residue-Fusion GAN With Feature-Matching and Perceptual Losses
使用具有特征匹配和感知损失的残差融合 GAN 生成视觉-触觉跨模态数据
DOI:10.1109/lra.2021.3095925
发表时间:2021-07
期刊:IEEE ROBOTICS AND AUTOMATION LETTERS
影响因子:5.2
作者:Cai Shaoyu;Zhu Kening;Ban Yuki;Narumi Takuji
通讯作者:Narumi Takuji
FritzBot: A data-driven conversational agent for physical-computing system design
FritzBot:用于物理计算系统设计的数据驱动对话代理
DOI:10.1016/j.ijhcs.2021.102699
发表时间:2021
期刊:International Journal of Human-Computer Studies
影响因子:5.4
作者:Taizhou Chen;Lantian Xu;Kening Zhu
通讯作者:Kening Zhu
基于数据驱动的用于虚拟材料仿真的温度触觉信号生成及渲染
国内基金
海外基金