Comparison between Recurrent Networks and Temporal Convolutional Networks Approaches for Skeleton-Based Action Recognition.
Comparison between Recurrent Networks and Temporal Convolutional Networks Approaches for Skeleton-Based Action Recognition.
复制标题
DOI：
10.3390/s21062051
复制
发表时间：
2021-03-15
期刊：
影响因子：
--
通讯作者：
Iacob CC
中科院分区：
文献类型：
--
作者：
Nan M;Trăscău M;Florea AM;Iacob CC
动作识别在视频监控、自动视频索引、人群分析、人机交互、智能家居和个人辅助机器人等各种应用中发挥着重要作用。在本文中，我们提出了一些改进的方法，从视频中的人体动作识别工作的骨架姿势的形式表示的数据。这些方法基于该问题最广泛使用的技术--图卷积网络（GCN）、时间卷积网络（TCN）和循环神经网络（RNN）。首先，本文探讨和比较不同的方法来提取最相关的空间和时间特性的一系列帧描述的行动。基于这种比较分析，我们展示了如何TCN类型的单元可以扩展到工作，甚至从空间域中提取的特征。为了验证我们的方法，我们测试它对人类动作识别问题的基准，我们表明，我们的解决方案获得了可比的结果，以国家的最先进的，但在推理速度显着增加。
Action recognition plays an important role in various applications such as video monitoring, automatic video indexing, crowd analysis, human-machine interaction, smart homes and personal assistive robotics. In this paper, we propose improvements to some methods for human action recognition from videos that work with data represented in the form of skeleton poses. These methods are based on the most widely used techniques for this problem—Graph Convolutional Networks (GCNs), Temporal Convolutional Networks (TCNs) and Recurrent Neural Networks (RNNs). Initially, the paper explores and compares different ways to extract the most relevant spatial and temporal characteristics for a sequence of frames describing an action. Based on this comparative analysis, we show how a TCN type unit can be extended to work even on the characteristics extracted from the spatial domain. To validate our approach, we test it against a benchmark often used for human action recognition problems and we show that our solution obtains comparable results to the state-of-the-art, but with a significant increase in the inference speed.
登录
查看更多内容
DOI：
10.3390/s20247271
发表时间：
2020-12-18
期刊：
Sensors (Basel, Switzerland)
影响因子：
--
作者：
Ghiță AȘ;Gavril AF;Nan M;Hoteit B;Awada IA;Sorici A;Mocanu IG;Florea AM
通讯作者：
Florea AM
影响因子：
10.6
作者：
Liu, Jun;Wang, Gang;Kot, Alex C.
通讯作者：
Kot, Alex C.
用于基于骨骼的人体动作识别的双流时间卷积网络
影响因子：
1.9
作者：
Jia, Jin-Gong;Zhou, Yuan-Feng;Zhang, Cai-Ming
通讯作者：
Zhang, Cai-Ming
DOI：
10.1109/tpami.2019.2916873
发表时间：
2020-10-01
影响因子：
23.6
作者：
Liu, Jun;Shahroudy, Amir;Kot, Alex C.
通讯作者：
Kot, Alex C.
DOI：
10.1109/tpami.2020.3021756
发表时间：
2023-06-01
影响因子：
23.6
作者：
Li, Shijie;Abu Farha, Yazan;Gall, Juergen
通讯作者：
Gall, Juergen