MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
MASTAF: A Model-Agnostic Spatio-Temporal Attention Fusion Network for Few-shot Video Classification
复制标题
DOI：
10.1109/wacv56688.2023.00254
复制
发表时间：
2021-12
期刊：
影响因子：
--
通讯作者：
Huan Zhang;H. Pirsiavash;Xin Liu
中科院分区：
文献类型：
--
作者：
Huan Zhang;H. Pirsiavash;Xin Liu
我们提出了 MASTAF，一种与模型无关的时空注意力融合网络，用于少镜头视频分类。 MASTAF 从通用视频空间和时间表示中获取输入，例如使用 2D CNN、3D CNN 和 Video Transformer。然后，为了充分利用这种表示，我们使用自注意力模型和交叉注意力模型来突出关键时空区域，以增加类间变化并减少类内变化。最后，MASTAF 应用轻量级融合网络和最近邻分类器对每个查询视频进行分类。我们证明，MASTAF 在三个少镜头视频分类基准（UCF101、HMDB51 和 Something-Something-V2）上提高了最先进的性能，例如，五路单镜头视频分类分别提高了 91.6%、69.5% 和 60.7%。
We propose MASTAF, a Model-Agnostic Spatio-Temporal Attention Fusion network for few-shot video classification. MASTAF takes input from a general video spatial and temporal representation,e.g., using 2D CNN, 3D CNN, and Video Transformer. Then, to make the most of such representations, we use self- and cross-attention models to highlight the critical spatio-temporal region to increase the inter-class variations and decrease the intra-class variations. Last, MASTAF applies a lightweight fusion network and a nearest neighbor classifier to classify each query video. We demonstrate that MASTAF improves the state-of-the-art performance on three few-shot video classification benchmarks(UCF101, HMDB51, and Something-Something-V2), e.g., by up to 91.6%, 69.5%, and 60.7% for five-way one-shot video classification, respectively.