Siamese anchor-free object tracking with multiscale spatial attentions.
Siamese anchor-free object tracking with multiscale spatial attentions.
复制标题
具有多尺度空间注意力的连体无锚目标跟踪
DOI：
10.1038/s41598-021-02095-4
复制
发表时间：
2021-11-25
影响因子：
4.6
通讯作者：
Ning X
中科院分区：
文献类型：
--
作者：
Zhang J;Huang B;Ye Z;Kuang LD;Ning X
近年来，基于Siamese网络的目标跟踪器由于其卓越的跟踪性能和广泛的应用而引起了广泛的关注。特别是，基于锚的方法利用区域提议子网络来准确预测目标并取得巨大的性能提升。然而，这些跟踪器无法很好地捕获空间信息，并且预定义的锚点将阻碍鲁棒性。为了解决这些问题，我们在本文中提出了一种基于 Siamese 的多尺度空间注意力的无锚目标跟踪算法。首先，我们以 ResNet-50 作为主干网络来生成模板补丁和搜索区域的多尺度特征。其次，我们提出了空间注意提取（SAE）块来捕获模板和搜索区域特征图中所有位置之间的空间信息。第三，我们将这些特征放入 SAE 块中以获得多尺度空间注意力。最后，使用无锚分类和回归子网络来预测目标的位置。与基于锚点的方法不同，我们的跟踪器直接预测目标位置，无需预定义参数。使用最先进的跟踪器在四个具有挑战性的视觉对象跟踪基准上进行了广泛的实验：OTB100、UAV123、VOT2016 和 GOT-10k。这些实验结果证实了我们提出的跟踪器的有效性。
Recently, object trackers based on Siamese networks have attracted considerable attentions due to their remarkable tracking performance and widespread application. Especially, the anchor-based methods exploit the region proposal subnetwork to get accurate prediction of a target and make great performance improvement. However, those trackers cannot capture the spatial information very well and the pre-defined anchors will hinder robustness. To solve these problems, we propose a Siamese-based anchor-free object tracking algorithm with multiscale spatial attentions in this paper. Firstly, we take ResNet-50 as the backbone network to generate multiscale features of both template patch and search regions. Secondly, we propose the spatial attention extraction (SAE) block to capture the spatial information among all positions in the template and search region feature maps. Thirdly, we put these features into the SAE block to get the multiscale spatial attentions. Finally, an anchor-free classification and regression subnetwork is used for predicting the location of the target. Unlike anchor-based methods, our tracker directly predicts the target position without predefined parameters. Extensive experiments with state-of-the-art trackers are carried out on four challenging visual object tracking benchmarks: OTB100, UAV123, VOT2016 and GOT-10k. Those experimental results confirm the effectiveness of our proposed tracker.
登录
查看更多内容
DOI：
10.1109/tpami.2017.2699184
发表时间：
2018-04-01
影响因子：
23.6
作者：
Chen, Liang-Chieh;Papandreou, George;Yuille, Alan L.
通讯作者：
Yuille, Alan L.
GOT-10k：用于野外通用对象跟踪的大型高多样性基准
DOI：
10.1109/tpami.2019.2957464
发表时间：
2021-05-01
影响因子：
23.6
作者：
Huang, Lianghua;Zhao, Xin;Huang, Kaiqi
通讯作者：
Huang, Kaiqi
具有紧凑形状和颜色特征的实时视觉跟踪
影响因子：
3.1
作者：
Gao, Zhenguo;Xia, Shixiong;Jiang, Haifeng
通讯作者：
Jiang, Haifeng
DOI：
10.1109/tpami.2014.2345390
发表时间：
2015-03-01
影响因子：
23.6
作者：
Henriques, Joao F.;Caseiro, Rui;Batista, Jorge
通讯作者：
Batista, Jorge
工业信息物理系统关键性能指标的智能检测
影响因子：
12.3
作者：
He, Shiming;Li, Zhuozhou;Xiong, Neal N.
通讯作者：
Xiong, Neal N.