Integrating Facial Expression and Body Gesture in Videos for Emotion Recognition
Integrating Facial Expression and Body Gesture in Videos for Emotion Recognition
复制标题
将面部表情和身体手势整合到视频中进行情绪识别
DOI：
10.1587/transinf.e97.d.610
复制
发表时间：
2014-03
影响因子：
0.7
通讯作者：
Yan Jingwei
中科院分区：
文献类型：
--
作者：
Yan Jingjie;Zheng Wenming（郑文明）;Xin Minghai;Yan Jingwei
在这篇文章中，我们研究了使用人脸和手势图像序列来处理基于视频的双峰情感识别问题的方法，其中Harris加长方体时空特征（HST）和稀疏典型相关分析（SCCA）融合方法用于此目的。为了有效地提取时空特征，我们采用Laptev和Lindeberg提出的Harris 3D特征检测器从人脸和手势视频中寻找点，然后应用长方体特征描述符提取面部表情和手势情感特征[1]，[2]。为了进一步从面部表情特征集和手势特征集中提取共同的情感特征，应用SCCA方法，将提取的情感特征用于生物模态情感分类，其中分别使用k近邻分类器和SVM分类器进行情感分类。实验结果表明，该方法与其他方法相比具有更好的识别精度。关键词：双峰情绪识别，Harris +长方体时空特征，稀疏典型相关分析（SCCA）
In this letter, we research the method of using face and gesture image sequences to deal with the video-based bimodal emotion recognition problem, in which both Harris plus cuboids spatio-temporal feature (HST) and sparse canonical correlation analysis (SCCA) fusion method are applied to this end. To efficaciously pick up the spatio-temporal features, we adopt the Harris 3D feature detector proposed by Laptev and Lindeberg to find the points from both face and gesture videos, and then apply the cuboids feature descriptor to extract the facial expression and gesture emotion features [1], [2]. To further extract the common emotion features from both facial expression feature set and gesture feature set, the SCCA method is applied and the extracted emotion features are used for the biomodal emotion classification, where the K-nearest neighbor classifier and the SVM classifier are respectively used for this purpose. We test this method on the biomodal face and body gesture (FABO) database and the experimental results demonstrate the better recognition accuracy compared with other methods. key words: bimodal emotion recognition, Harris plus cuboids spatiotemporal feature (HST), sparse canonical correlation analysis (SCCA)
登录
查看更多内容
DOI：
10.5244/c.23.124
发表时间：
2009-09
期刊：
--
影响因子：
--
作者：
Heng Wang;M. M. Ullah-M.;Alexander Kläser;I. Laptev;C. Schmid
通讯作者：
Heng Wang;M. M. Ullah-M.;Alexander Kläser;I. Laptev;C. Schmid
DOI：
10.1007/978-0-387-93808-0_18
发表时间：
2010
期刊：
--
影响因子：
--
作者：
Caifeng Shan;Ralph A. C. Braspenning
通讯作者：
Caifeng Shan;Ralph A. C. Braspenning
DOI：
10.1109/cvprw.2011.5981880
发表时间：
2011-06
期刊：
CVPR 2011 WORKSHOPS
影响因子：
--
作者：
Shizhi Chen;Yingli Tian;Qingshan Liu;Dimitris N. Metaxas
通讯作者：
Shizhi Chen;Yingli Tian;Qingshan Liu;Dimitris N. Metaxas
影响因子：
19.5
作者：
Laptev, I
通讯作者：
Laptev, I
DOI：
10.1109/icpr.2006.39
发表时间：
2006-08
期刊：
18th International Conference on Pattern Recognition (ICPR'06)
影响因子：
--
作者：
H. Gunes;M. Piccardi
通讯作者：
H. Gunes;M. Piccardi