Coupled cascade regression from real and synthesized faces for simultaneous landmark detection and head pose estimation
Coupled cascade regression from real and synthesized faces for simultaneous landmark detection and head pose estimation
复制标题
来自真实面部和合成面部的耦合级联回归，用于同时进行地标检测和头部姿势估计
DOI：
10.1117/1.jei.29.2.023028
复制
发表时间：
2020-03
影响因子：
1.1
通讯作者：
Ji Qiang
中科院分区：
文献类型：
--
作者：
Gou Chao;Ji Qiang
摘要现有的人脸标志点检测和头部姿态估计方法通常是独立的、顺序的，忽略了它们之间的耦合关系。我们引入了一个统一的框架，称为耦合级联回归(CCR)，用于同时进行人脸标志点检测和头部姿势估计。在级联回归框架的基础上，我们提出学习两个独立的回归变量来更新每个级联级别的地标位置和三维人脸模型参数。为了捕捉地标位置和头部姿势的耦合关系，我们进一步应用3D人脸投影模型来细化每次级联迭代的预测结果，使它们保持一致。CCR可以利用学习方法和投影模型同时执行人脸地标检测和姿势估计，以提高这两个任务的性能。我们还提出了从真实人脸图像和合成人脸图像的组合中学习级联回归变量，以解决训练时头部姿势变化有限的问题。在野外、300-W和波士顿大学的海伦人脸标记数据集上的实验结果表明，我们提出的CCR方法在地标检测和头部姿势估计方面都优于其他传统方法。
Abstract The existing approaches usually perform facial landmark detection and head pose estimation independently and sequentially, ignoring their coupled relations. We introduce a unified framework, named coupled cascade regression (CCR), for simultaneous facial landmark detection and head pose estimation. Based on the cascade regression framework, we propose to learn two separate regressors to update the landmark locations and three-dimensional (3D) face model parameters at each cascade level. To capture the coupled relations of the landmark locations and head pose, we further apply the 3D face projection model to refine the prediction results in each cascade iteration and make them consistent. CCR can leverage both the learning methods and the projection model to simultaneously perform facial landmark detection and pose estimation to enhance the performances of both tasks. We also propose to learn the cascade regressors from the combination of real and synthesized face images to solve the problem of limited variations in head pose for training. Experimental results on Helen, labeled face parts in the wild, 300-W, and Boston University datasets show that our proposed CCR method outperforms other conventional methods both for landmark detection and head pose estimation.
登录
查看更多内容
DOI：
10.1109/cvpr.2015.7298679
发表时间：
2015-06
期刊：
2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
影响因子：
--
作者：
Xiangyu Zhu;Zhen Lei;Junjie Yan;Dong Yi;Stan Z. Li
通讯作者：
Xiangyu Zhu;Zhen Lei;Junjie Yan;Dong Yi;Stan Z. Li
DOI：
10.1109/tpami.2018.2810881
发表时间：
2018-11
影响因子：
23.6
作者：
Wei Wang;S. Tulyakov;N. Sebe
通讯作者：
Wei Wang;S. Tulyakov;N. Sebe
影响因子：
1.1
作者：
Hailiang Li;K. Lam;Edmond M. Y. Chiu;Kangheng Wu;Zhibin Lei
通讯作者：
Hailiang Li;K. Lam;Edmond M. Y. Chiu;Kangheng Wu;Zhibin Lei
影响因子：
10.6
作者：
Drouard, Vincent;Horaud, Radu;Evangelidis, Georgios
通讯作者：
Evangelidis, Georgios
DOI：
10.1109/tits.2015.2396031
发表时间：
2015-08-01
影响因子：
8.5
作者：
Vicente, Francisco;Huang, Zehua;Levi, Dan
通讯作者：
Levi, Dan