融入真实人物形象的多源反馈儿童孤独症教育干预方法研究
批准号:
62077026
项目类别:
面上项目
资助金额:
48.0 万元
负责人:
刘乐元
依托单位:
学科分类:
教育信息科学与技术
结题年份:
2024
批准年份:
2020
项目状态:
已结题
项目参与者:
刘乐元
中文摘要
孤独症发病人数多、社会危害大,研究儿童孤独症干预方法具备重要的科学意义与应用价值。为突破现有干预方法干预工具不科学、效果评估不全面、策略调整不精准的挑战,本项目拟开展融入真实人物形象的多源反馈儿童孤独症干预方法研究。针对孤独症儿童大脑镜像功能缺陷导致的认知障碍,建构融入真实人物形象的干预工具,利用人工智能技术将真实人物映射到数字世界,为孤独症儿童建构可规避异常脑功能的社交技巧认知路径;针对效果评估存在片面和滞后的问题,研究脑内变化分析与外显行为监测相结合的干预效果评估机制,全面量化孤独症儿童的康复进程并为策略调整提供数据驱动;针对由于反馈源单一导致干预策略调整不精准的问题,研究基于多源反馈的干预策略调整方法,甄选多路独立反馈源建立“即时-长效”相搭配的干预策略调整体系,形成有效的干预闭环。本项目通过人工智能赋能特殊教育,将为儿童孤独症干预提供一种新途径,有助于产生新的孤独症干预理论与方法。
英文摘要
As a developmental disability, autism spectrum disorder (ASD) has caused serious social problems. Currently, it remains a challenge to offer a precision intervention method for autistic children with high performance and accurate strategy. To alleviate this problem, an avatar-based intervention method with multi-source feedback will be established for autistic children in this project. Firstly, in terms of the cognitive impairment caused by the deficiencies of the brain mirroring function, intervention tools that map real people’s image to the digital world will be constructed by means of artificial intelligence technology, aiming to improve social skills for autistic children that can help them avoid the abnormal brain function path. Secondly, in terms of the one-sided and lagging problem of effect evaluation, the intervention effect evaluation mechanism combining in-brain change analysis with explicit behavior monitoring will be studied, aiming to comprehensively quantify the rehabilitation process of autistic children and provide data-driven for strategy adjustment. Finally, in terms of the inaccurate intervention strategy caused by the single-source feedback, a multi-source feedback based intervention strategy adjustment method will be studied, aiming to establish an "immediate-long-term" intervention strategy adjustment system and form an effective intervention closed loop by selecting multiple independent feedback sources. This project uses artificial intelligence to empower special education, which will provide a new way for autism intervention and help generate novel theories and methods for autism intervention.
针对现有孤独症干预方法存在干预工具不科学、效果评价不全面、干预方法不精准三大挑战,项目从干预工具、效果评价、干预策略三大方向研究了融入真实人物形象的多源反馈儿童孤独症教育干预方法。1)研究了融入真实人物形象的孤独症干预工具创建方法。提出了系列单图像三维头部及着衣人体重建等孪生数字人生成算法,精度达到当前先进水平;在情境教学理论和视觉支持策略的指导下,设计并实现基于虚拟社交情境的学习活动,将孪生数字人融入以卡通动画和互动游戏为载体的干预材料中创建了融入真实人物形象的孤独症干预工具。2)研究了基于多模态数据的孤独症儿童干预效果评价方法。提出了融合面部表情识别、脑电特征提取、语音分析与合成的孤独症儿童评估与快速筛查方法,对孤独症儿童筛查的召回率达80.71%、精度为86.79%;提出了面部行为表征模型,通过融合粗粒度与细粒度分析实现自闭症的智能化识别与评估,设计了基于多模态面部行为智能分析的孤独症识别与评估方法,融合模型的平均识别准确率达88.74%,较单一粗粒度分析提升8.49%。3)研究了基于多源反馈的孤独症儿童干预方法。提出技术生态层、虚实融合层和用户体验层的儿童孤独症教育干预元宇宙的技术架构;以破镜理论为理论基础构建了儿童孤独症教育干预实施闭环;设计并制作了基于元宇宙的干预材料,开展了孤独症儿童面部表情学习、语言学习等方面的实证研究,取得了显著的干预效果。项目累计发表论文18篇(含SCI期刊论文7篇、CSSCI期刊论文 1篇、CCF A类中文论文1篇、CCF A类会议1篇、CCF C类会议2篇、教育技术学知名会议2篇),出版专著1部;申请国家发明专利7项,获得软件著作权授权9项;开发了融入真实人物形象的干预软件工具5个;提出了基于多模态数据的孤独症儿童干预效果评价方法,研发了孤独症儿童的数字画像系统1套;参加国内外学术合作交流11次;培养了了博士3名、硕士毕业生19名。
融合条件随机森林与卷积神经网络的非约束环境人脸表情识别研究
-
批准号:61702208
-
项目类别:青年科学基金项目
-
资助金额:21.0万元
-
批准年份:2017
-
负责人:刘乐元
-
依托单位:
国内基金
海外基金