课题基金基金详情
基于VR场景与多生理信号交互的情绪识别研究
结题报告
批准号:
61702195
项目类别:
青年科学基金项目
资助金额:
25.0 万元
负责人:
张通
依托单位:
学科分类:
F0213.生物信息计算与数字健康
结题年份:
2020
批准年份:
2017
项目状态:
已结题
项目参与者:
邢晓芬、廖丹、蔡博仑、郭锴凌、裘索、乔锐、张文卓
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
随着计算技术和人机交互技术的发展,情绪识别成为情绪研究的新兴领域,而人体生理信号与人的情绪存在某种内在的联系,且相对客观、不易伪装,基于生理信号的情绪识别成为近年来情绪识别研究的热点。传统情绪诱导材料存在生态效度低,真实感不强和交互性差等问题,同时,多源生理数据的融合带来信息冗余和噪声大,成为情绪识别研究中的亟待解决的技术难点。本项目拟借助虚拟现实(VR)技术,利用其沉浸式体验,尝试建立虚拟场景与情绪的对应关系,快速准确地诱发受试者相关的情绪,以获得相对客观、低噪声的脑电图(EEG),额肌电(EMG)、心率(HR)和体温(SKT)等多生理数据。同时,提出多核粗糙模糊聚类方法和基于深度置信网络(Deep Belief Network)模型,解决多源数据的异构问题和信息融合中冗余和噪声大等问题,有效提高基于VR场景和多源生理信号交互的情绪识别效果。本研究具有明确的研究思路和广泛的应用。
英文摘要
Emotion recognition is a new field of emotion research along with the development of computing technology and human machine interaction technology. As physiological signals are correlated with human emotion and can hardly be masked,recognizing emotions based on physiological signals has become a research hotspot in recent years.Lacking ecological validity, poor sense of reality, and less interactivity are existing problems to induce emotions in traditional methods. Also, information fusion based on multi-channel physiological signals will bring redundant information and big noise, which have become nasty solvable problems. This project is intended to apply Virtual Reality (VR) technology to design various Virtual scenes. Taking the advantage of immersive experience, we expect to set up a corresponding relationship between VR senses and emotions. Then, we can induce related emotion precisely and rapidly, in order to obtain relatively objective multi-channel physiological signals, including electroencephalogram (EEG), electromyographic signal (EMG), heart rate (HR), and skin-temperature (SKT), with lower noisy. Meanwhile, based on Deep Belief Network and multiple kernel rough fuzzy clustering theory, provide an innovative solution to the problem of heterogeneity, redundancy and noise problem in the process of muti-feature fusion. During this process, a new emotion recognition and VR scene interaction model will be developed. This project has clear ideas and extensive application prospect. It can also provide a new thought in building VR emotional scene database in future.
随着计算机技术和人机交互技术的发展,情绪识别成为情绪研究的新兴领域,而人体生理信号与人的情绪存在某种内在的联系,且相对客观、不易伪装。因此,基于生理信号的情绪识别成为近年来情绪识别研究的热点。传统情绪诱导材料存在生态效度低,真实感不强和交互性差等问题,同时,多源生理数据的融合存在信息冗余和噪声大等问题,这些问题都是情绪识别研究中亟待解决的技术难点。.针对上述提到的问题,本项目重点展开基于VR场景智能交互和多源生理信号的情绪识别研究。发布全球第一个VR情绪场景库,建立基于计算机科学和心理认知科学的VR场景与人体基础情绪的对应关系,解决情绪诱发素材的生态效度较低,真实感不强的问题。本项目提出一种基于易经思想的优化算法,解决多源生理大数据建模中的参数优化问题。本项目提出了一种将图卷积结构嵌入宽度学习的新型网络结构--图宽度卷积网络(GCB-Net),这种新型结构在脑电情绪识别上有明显优势。提出了一种基于宽度学习的面部表情识别方法,能够大大减少系统的计算量,达到实时性效果。本项目建立了一套跨数据库面部微表情识别任务的评估标准,并基于两个公开的微表情识别数据集建立一个标准化评估平台,能够用于评估跨数据面部微表情识别的模型,且基于改标准化评估平台提出新颖的跨数据库微表情识别学习方法。项目还提出了一种基于非结构化文本数据的情绪评估模型,通过语言模型建立文本情感分析与理解,建立多任务双向内容级别的编码模型,并利用宽度学习的优点,进行在非线性宽度空间进行神经网络自主随机搜索适合的增强节点数量,实现情感状态评。.发表相关论文18篇;指导硕士/博士研究生10人;申请发明专利16项;发布VR场景库1个。本项目最终搭建了基于VR情绪场景库的情绪识别体系,从而为游戏开发、健康监测、情感计算等应用提供了可用途径。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
Fast and Effective Active Clustering Ensemble Based on Density Peak.
基于密度峰值的快速有效的主动聚类集成。
DOI:10.1109/tnnls.2020.3015795
发表时间:2020
期刊:IEEE Trans Neural Netw Learn Syst
影响因子:--
作者:Shi Yifan;Yu Zhiwen;Cao Wenming;Chen C L Philip;Wong Hau-San;Han Guoqiang
通讯作者:Han Guoqiang
Random-Positioned License Plate Recognition Using Hybrid Broad Learning System and Convolutional Networks
使用混合广泛学习系统和卷积网络的随机定位车牌识别
DOI:10.1109/tits.2020.3011937
发表时间:2022-01-01
期刊:IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS
影响因子:8.5
作者:Chen, C. L. Philip;Wang, Bingshu
通讯作者:Wang, Bingshu
Hierarchical Lifelong Learning by Sharing Representations and Integrating Hypothesis
通过共享表征和整合假设进行分层终身学习
DOI:10.1109/tsmc.2018.2884996
发表时间:--
期刊:IEEE Transactions on Systems, Man, and Cybernetics: Systems
影响因子:--
作者:Tong Zhang;Guoxi Su;Chunmei Qing;Xiangmin Xu;Bolun Cai;Xiaofen Xing
通讯作者:Xiaofen Xing
Design of Highly Nonlinear Substitution Boxes Based on I-Ching Operators
基于《易经》算子的高度非线性替换盒设计
DOI:10.1109/tcyb.2018.2846186
发表时间:2018-07
期刊:IEEE Transactions on Cybernetics
影响因子:11.8
作者:Tong Zhang;C. L. Philip Chen;Long Chen;Xiangmin Xu;Bin Hu
通讯作者:Bin Hu
Motor Learning and Generalization Using Broad Learning Adaptive Neural Control
使用广泛学习自适应神经控制进行运动学习和泛化
DOI:10.1109/tie.2019.2950853
发表时间:2020-10-01
期刊:IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS
影响因子:7.7
作者:Huang, Haohui;Zhang, Tong;Chen, C. L. Philip
通讯作者:Chen, C. L. Philip
PSTn脑区内兴奋性Vglut2神经元介导的应激性胃溃疡神经通路机制研究
  • 批准号:
    32371027
  • 项目类别:
    面上项目
  • 资助金额:
    50万元
  • 批准年份:
    2023
  • 负责人:
    张通
  • 依托单位:
小样本学习的跨模态情感识别方法研究
  • 批准号:
    --
  • 项目类别:
    面上项目
  • 资助金额:
    59万元
  • 批准年份:
    2020
  • 负责人:
    张通
  • 依托单位:
多模态情感智能分析方法与应用
  • 批准号:
    2020B151502105
  • 项目类别:
    省市级项目
  • 资助金额:
    100.0万元
  • 批准年份:
    2020
  • 负责人:
    张通
  • 依托单位:
国内基金
海外基金