Multi-Task Structure-Aware Context Modeling for Robust Keypoint-Based Object Tracking
Multi-Task Structure-Aware Context Modeling for Robust Keypoint-Based Object Tracking
复制标题
用于基于关键点的鲁棒对象跟踪的多任务结构感知上下文建模
DOI：
10.1109/tpami.2018.2818132
复制
发表时间：
2019-04
影响因子：
23.6
通讯作者：
Ian Reid
中科院分区：
文献类型：
--
作者：
Xi Li;Liming Zhao;Wei Ji;Yiming Wu;Fei Wu;Ming-Hsuan Yang;Dacheng Tao;Ian Reid
在计算机视觉和图形学领域，基于关键点的目标跟踪是一个基本的和具有挑战性的问题，它通常是制定在时空上下文建模框架。然而，许多现有的关键点跟踪器不能有效地建模和平衡以下三个方面的同时的方式：跨帧的时间模型一致性，帧内的空间模型一致性，和判别特征的建设。为了解决这个问题，我们提出了一个强大的关键点跟踪器基于时空多任务结构化输出优化驱动的判别度量学习。因此，时间模型一致性的特点是多任务的结构化关键点模型学习在几个相邻的帧;空间模型一致性建模通过解决基于几何验证的结构化学习问题;判别特征的建设，使度量学习，以确保类内的紧凑性和类间的可分性。为了实现有效的目标跟踪，我们联合优化上述三个模块的时空多任务学习计划。此外，我们将这种联合学习计划到单对象和多对象跟踪的情况下，在强大的跟踪结果。在几个具有挑战性的数据集上的实验证明了我们的单对象和多对象跟踪器对最先进技术的有效性。
In the fields of computer vision and graphics, keypoint-based object tracking is a fundamental and challenging problem, which is typically formulated in a spatio-temporal context modeling framework. However, many existing keypoint trackers are incapable of effectively modeling and balancing the following three aspects in a simultaneous manner: temporal model coherence across frames, spatial model consistency within frames, and discriminative feature construction. To address this problem, we propose a robust keypoint tracker based on spatio-temporal multi-task structured output optimization driven by discriminative metric learning. Consequently, temporal model coherence is characterized by multi-task structured keypoint model learning over several adjacent frames; spatial model consistency is modeled by solving a geometric verification based structured learning problem; discriminative feature construction is enabled by metric learning to ensure the intra-class compactness and inter-class separability. To achieve the goal of effective object tracking, we jointly optimize the above three modules in a spatio-temporal multi-task learning scheme. Furthermore, we incorporate this joint learning scheme into both single-object and multi-object tracking scenarios, resulting in robust tracking results. Experiments over several challenging datasets have justified the effectiveness of our single-object and multi-object trackers against the state-of-the-art.
登录
查看更多内容
DOI：
10.1109/iccv.1998.710798
发表时间：
1998-01
期刊：
Sixth International Conference on Computer Vision (IEEE Cat. No.98CH36271)
影响因子：
--
作者：
P. Torr;Andrew Zisserman
通讯作者：
P. Torr;Andrew Zisserman
DOI：
10.1007/978-3-319-07176-3_56
发表时间：
2014-06
期刊：
--
影响因子：
--
作者：
Tomasz Nowak;Patryk Najgebauer;J. Romanowski;Marcin Gabryel;M. Korytkowski;R. Scherer;Dimche Kostadinov
通讯作者：
Tomasz Nowak;Patryk Najgebauer;J. Romanowski;Marcin Gabryel;M. Korytkowski;R. Scherer;Dimche Kostadinov
DOI：
--
发表时间：
1998
期刊：
--
影响因子：
--
作者：
K. Ng;V. Sequeira;S. Butterfield;D. Hogg;J. Gonçalves
通讯作者：
K. Ng;V. Sequeira;S. Butterfield;D. Hogg;J. Gonçalves
DOI：
10.1007/978-3-642-33765-9_51
发表时间：
2012-10
期刊：
--
影响因子：
--
作者：
Longyin Wen;Zhaowei Cai;Zhen Lei;Dong Yi;S. Li
通讯作者：
Longyin Wen;Zhaowei Cai;Zhen Lei;Dong Yi;S. Li
DOI：
10.1023/b:visi.0000029664.99615.94
发表时间：
2004-11-01
影响因子：
19.5
作者：
Lowe, DG
通讯作者：
Lowe, DG