基于族群谱系特征的多民族表情理解研究

批准号:
61370146
项目类别:
面上项目
资助金额:
77.0 万元
负责人:
段晓东
依托单位:
学科分类:
F0605.模式识别与数据挖掘
结题年份:
2017
批准年份:
2013
项目状态:
已结题
项目参与者:
李志洁、王存睿、焉德军、崔艳秋、许爽、魏巍、李泽东、曲培胜、史磊
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
由于遗传、地域、文化等因素的不同,各民族在人脸情感表达上具有一定的差异性。本项目拟利用KINECT平台采集包含深度信息在内的人脸表情视频, 构建中国多民族人脸表情库并进行发布,通过提出族群谱系特征并融合人脸深度信息对民族情感表达进行深入分析和探讨;扩展公理化模糊集(AFS)体系构建人脸族群谱系特征分析方法,基于FACS编码体系结合迁移学习构建分类器对多民族表情库进行标识和知识挖掘;通过多民族图模式情感AU关联模型对族群表情进行知识表达,并研究相应的图模式比较和模式挖掘算法。据此探求多民族在基本表情、非基本和动态表情的共通性和差异性,发掘其人脸信息、表情与情感之间的内在规律。研究工作将三维数据、族谱特征和AU模式挖掘结合在一起以提高民族面部情感分析效率,也为相关研究提供可借鉴的手段,其成果对多民族情感数字化留存、民族表情生成和深化人类学民族特征研究也有一定的意义。
英文摘要
Different ethnic groups have different characteristics in the facial expressions, it dues to the difference of genetic, geography and culture. With KINECT, the project plans to collect the expression videos with facial depth information for constructing and publishing the multi-ethnic facial expression database, analyzes deeply the multi-ethnic emotion with ethnic groups spectrum characteristics and facial depth information. Firstly, the analysis of facial ethnic groups spectrum characteristics is constructed by Axiomatic Fuzzy Sets(AFS). Secondly, combining the FACS and transfer learning classifier, the classifier is established to create multi-ethnic facial expression database and discover ethnic groups knowledge. At last, the knowledge of ethnic groups expression is represented through AU association graph pattern model, meanwhile the corresponding graph pattern evaluation and pattern mining algorithm is studied. According to the above, this project explores the commonalities and differences of multi-ethnic expressions in basic, non-basic, and dynamic expression, also reveals facial inherent knowledge of information, expression and emotion. This project prepares to enhance efficiency of multi-ethnic facial emotion analysis, ethnic groups spectrum characteristics and AU graph pattern mining, also provide many methods to the relevant researches. Especially, this project has a great significance of digital storage of multi-ethnic emotion, generation of multi-ethnic expression and study of anthropology multi-ethnic characteristics.
我国是一个由多民族构成的国家,由于遗传、地域、文化等因素的不同,各民族在情感表达上具有一定的差异性。本项目利用Kinect传感器和Tobii眼动仪搭建了一个情感数据采集平台,构建了涵盖汉族、蒙古族、壮族、回族和满族共5个民族的多民族情感数据库;基于改进后的Wang-Mendel方法和公理化模糊集理论提出了一种多民族族人脸特征的语义描述方法,将其应用于多民族人脸部件的差异性分析,并从流行结构的角度验证了这种差异性;从实际应用场景出发,针对现有的基于公理化模糊集理论的聚类和分类方法进行改进,提出了人脸表情的语义提取和知识表示方法,并根据已获得的语义规则构建了虚拟表情生成方法;以多标记学习理论为基础,提出了谱系分析方法以分析由基本表情形成的复合表情;采用目前较为流行的深度学习技术,对卷积神经网络的结构进行必要的调整和优化,进而研究了已构建的多民族情感数据库中包含的5个民族在本民族内部及各民族之间同种表情的共同性和差异性;以Tobii眼动仪获取的注视时间、注视顺序和回视次数为研究对象,建立兴趣区的权重计算模型,从而分析族系间眼动行为模式的多样性;结合Adaboost和深度置信网络提出了一种增强深度置信网络,进而提出了一种融合眼动行为和表情特征的人脸表情识别方法,探讨了眼动行为对提升人脸表情识别效果的积极作用;采用LBP-TOP特征提取方法和多种分类器,对由眼球、眼眉和眼睑构成的眼部区域在识别微表情中的作用进行研究,验证了眼部区域所反映的局部特征在识别这种持续时间短、动作强度低且非自主表达的自发表情时发挥着重要作用;通过构建局部深度信息来表示3D人脸信息,然后通过最小冗余最大相关特征选择方法筛选出特征集合中对族群信息比较敏感的特征子集,按照族群属性合理划分训练集和测试集,验证了族群属性对3D人脸表情识别的影响。本项目的研究不仅丰富和扩展了情感计算领域对民族情感理解的分析方法,还探讨了眼部区域在情感表达中的作用,为多民族面部表情识别研究提供了一种新的思路。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1007/s13042-017-0726-0
发表时间:2017-09
期刊:International Journal of Machine Learning and Cybernetics
影响因子:5.6
作者:Cun-rui Wang;Qingling Zhang;X. Duan;Wanquan Liu;Jianhou Gan
通讯作者:Cun-rui Wang;Qingling Zhang;X. Duan;Wanquan Liu;Jianhou Gan
DOI:--
发表时间:2016
期刊:计算机学报
影响因子:--
作者:段晓东;李泽东;王存睿;张庆灵;刘晓东
通讯作者:刘晓东
A sepectral clustering method with semantic interpretation based on axiomatic fuzzy set theory
基于公理模糊集理论的具有语义解释的谱聚类方法
DOI:--
发表时间:2017
期刊:Applied Soft Computing
影响因子:8.7
作者:Yuangang Wang;Xiaodong Duan;Xiaodong Liu;Cunrui Wang;Zedong Li
通讯作者:Zedong Li
DOI:--
发表时间:--
期刊:自动化学报
影响因子:--
作者:王存睿;张庆灵;段晓东;王元刚;李泽东
通讯作者:李泽东
DOI:--
发表时间:2014
期刊:Applied Mechanics and Materials
影响因子:--
作者:Zhijie Li;Xiaodong Duan;Cunrui Wang
通讯作者:Cunrui Wang
短视频博主的人格化表达模式识别方法及其应用
- 批准号:--
- 项目类别:面上项目
- 资助金额:50万元
- 批准年份:2024
- 负责人:段晓东
- 依托单位:
眼睛与面部动作在自发表情中的协同机制研究及其应用
- 批准号:61672132
- 项目类别:面上项目
- 资助金额:63.0万元
- 批准年份:2016
- 负责人:段晓东
- 依托单位:
人脸部件多层语义网模型研究与民族特征刻画
- 批准号:61040054
- 项目类别:专项基金项目
- 资助金额:10.0万元
- 批准年份:2010
- 负责人:段晓东
- 依托单位:
国内基金
海外基金
