3-D Head Tracking via Invariant Keypoint Learning
3-D Head Tracking via Invariant Keypoint Learning
复制标题
通过不变关键点学习进行 3D 头部跟踪
DOI：
10.1109/tcsvt.2012.2190474
复制
发表时间：
2012-08
影响因子：
8.4
通讯作者：
Pan, Chunhong
中科院分区：
文献类型：
--
作者：
Davoine, Franck;Lepetit, Vincent;Chaillou, Christophe;Pan, Chunhong
关键点匹配是解决视觉应用中对应问题的标准工具。然而，在3D人脸跟踪中，这种方法往往存在缺陷，因为人脸的复杂性，加上典型应用中丰富的视角、非刚性的表情和照明变化，可能会导致许多现有关键点检测器和描述符无法处理的变化。在本文中，我们提出了一种新的方法来定制的关键点匹配，以跟踪在视频流中的用户头部的3-D姿态。核心思想是学习对这些具有挑战性的变换显式不变的关键点。首先，我们选择在随机绘制的小视点、非刚性变形和光照变化下稳定的关键点。然后，我们将不同大角度的关键点描述符学习作为一种增量方案来学习判别描述符。在匹配时，为了减少离群对应的比例，我们使用二阶颜色信息来修剪不太可能位于面部上的关键点。此外，我们整合光流对应的自适应方式，以有效地消除运动抖动。大量的实验表明，所提出的方法可以导致快速，鲁棒性和准确的三维头部跟踪结果，即使在非常具有挑战性的情况下。
Keypoint matching is a standard tool to solve the correspondence problem in vision applications. However, in 3-D face tracking, this approach is often deficient because the human face complexities, together with its rich viewpoint, nonrigid expression, and lighting variations in typical applications, can cause many variations impossible to handle by existing keypoint detectors and descriptors. In this paper, we propose a new approach to tailor keypoint matching to track the 3-D pose of the user head in a video stream. The core idea is to learn keypoints that are explicitly invariant to these challenging transformations. First, we select keypoints that are stable under randomly drawn small viewpoints, nonrigid deformations, and illumination changes. Then, we treat keypoint descriptor learning at different large angles as an incremental scheme to learn discriminative descriptors. At matching time, to reduce the ratio of outlier correspondences, we use second-order color information to prune keypoints unlikely to lie on the face. Moreover, we integrate optical flow correspondences in an adaptive way to remove motion jitter efficiently. Extensive experiments show that the proposed approach can lead to fast, robust, and accurate 3-D head tracking results even under very challenging scenarios.
登录
查看更多内容
DOI：
10.1109/afgr.1996.557294
发表时间：
1996-10
期刊：
Proceedings of the Second International Conference on Automatic Face and Gesture Recognition
影响因子：
--
作者：
Sourabh A. Niyogi;W. Freeman
通讯作者：
Sourabh A. Niyogi;W. Freeman
DOI：
10.1023/b:visi.0000029664.99615.94
发表时间：
2004-11-01
影响因子：
19.5
作者：
Lowe, DG
通讯作者：
Lowe, DG
DOI：
10.5220/0001787803310340
发表时间：
2009
期刊：
--
影响因子：
--
作者：
Marius Muja;D. Lowe
通讯作者：
Marius Muja;D. Lowe
DOI：
10.1016/s0262-8856(02)00024-0
发表时间：
2002-05
期刊：
Image Vis. Comput.
影响因子：
--
作者：
Q. Ji
通讯作者：
Q. Ji
DOI：
10.1007/978-3-642-15555-0_36
发表时间：
2010-09
期刊：
--
影响因子：
--
作者：
Minsu Cho;Jungmin Lee;Kyoung Mu Lee
通讯作者：
Minsu Cho;Jungmin Lee;Kyoung Mu Lee