CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis
CR-Net: A Deep Classification-Regression Network for Multimodal Apparent Personality Analysis
复制标题
CR-Net：用于多模态表观人格分析的深度分类回归网络
DOI：
10.1007/s11263-020-01309-y
复制
发表时间：
2020-03
影响因子：
19.5
通讯作者：
Guodong Guo
中科院分区：
文献类型：
--
作者：
Yunan Li;Jun Wan;Qiguang Miao;Sergio Escalera;Huijuan Fang;Huizhou Chen;Xiangda Qi;Guodong Guo
第一印象强烈影响社交互动，对个人和职业生活产生很大影响。在本文中，我们提出了一个深度分类回归网络（CR-Net），用于分析大五人格问题，并进一步协助第一印象设置中的工作面试推荐。该设置基于 ChaLearn First Impressions 数据集，包括从相应音频数据转换而来的视频、音频和文本的多模态数据，其中每个人都在摄像机前讲话。为了给出全面的预测，我们分析了整个场景（包括人的动作和背景）和人脸的视频。我们的 CR-Net 首先进行人格特质分类，然后应用回归，这样可以获得人格特质和面试推荐的准确预测。此外，我们提出了一种称为 Bell Loss 的新损失函数，以解决由均值回归问题引起的不准确预测。对第一印象数据集的广泛实验表明了我们提出的网络的有效性，优于最先进的网络。
First impressions strongly influence social interactions, having a high impact in the personal and professional life. In this paper, we present a deep Classification-Regression Network (CR-Net) for analyzing the Big Five personality problem and further assisting on job interview recommendation in a first impressions setup. The setup is based on the ChaLearn First Impressions dataset, including multimodal data with video, audio, and text converted from the corresponding audio data, where each person is talking in front of a camera. In order to give a comprehensive prediction, we analyze the videos from both the entire scene (including the person’s motions and background) and the face of the person. Our CR-Net first performs personality trait classification and applies a regression later, which can obtain accurate predictions for both personality traits and interview recommendation. Furthermore, we present a new loss function called Bell Loss to address inaccurate predictions caused by the regression-to-the-mean problem. Extensive experiments on the First Impressions dataset show the effectiveness of our proposed network, outperforming the state-of-the-art.
登录
查看更多内容
DOI：
--
发表时间：
2007-06
期刊：
--
影响因子：
--
作者：
François Mairesse;M. Walker
通讯作者：
François Mairesse;M. Walker
DOI：
10.1109/tpami.2017.2779808
发表时间：
2018-11
影响因子：
23.6
作者：
Zichang Tan;Jun Wan;Zhen Lei;Ruicong Zhi;G. Guo;S. Li
通讯作者：
Zichang Tan;Jun Wan;Zhen Lei;Ruicong Zhi;G. Guo;S. Li
DOI：
10.1007/978-3-319-49409-8_27
发表时间：
2016-10
期刊：
ArXiv
影响因子：
--
作者：
Arulkumar Subramaniam;V. Patel;Ashish Mishra;P. Balasubramanian;Anurag Mittal
通讯作者：
Arulkumar Subramaniam;V. Patel;Ashish Mishra;P. Balasubramanian;Anurag Mittal
影响因子：
7.6
作者：
Pennebaker, JW;King, LA
通讯作者：
King, LA
影响因子：
11.2
作者：
Basu, Anushree;Dasgupta, Anirban;Mitra, Pabitra
通讯作者：
Mitra, Pabitra