Skeleton-Based Spatio-Temporal U-Network for 3D Human Pose Estimation in Video.
Skeleton-Based Spatio-Temporal U-Network for 3D Human Pose Estimation in Video.
复制标题
用于视频中三维人体位姿估计的时空U网络。
DOI：
10.3390/s22072573
复制
发表时间：
2022-03-28
期刊：
影响因子：
--
通讯作者：
中科院分区：
文献类型：
--
作者：
尽管从视频中进行三维姿态估计已经取得了很大的进展，但是仍然缺乏有效的手段来从复杂的动态骨架序列中提取不同粒度的时空特征。为了解决这个问题，我们提出了一种新的，基于混沌的时空U-网（STUNet）计划来处理多尺度的时空特征，用于视频中的3D人体姿态估计。STUNet体系结构由语义图卷积层和结构化时间膨胀卷积层的级联结构组成，从细粒度到粗粒度逐步提取和融合时空语义特征。这种U形网络通过降尺度和升尺度实现尺度压缩和特征压缩，同时通过跳跃连接抽象多分辨率时空依赖性。实验表明，我们的模型有效地捕捉全面的时空特征在多个尺度上，并实现了实质性的改进，在现实世界的数据集上的主流方法。
Despite the great progress in 3D pose estimation from videos, there is still a lack of effective means to extract spatio-temporal features of different granularity from complex dynamic skeleton sequences. To tackle this problem, we propose a novel, skeleton-based spatio-temporal U-Net(STUNet) scheme to deal with spatio-temporal features in multiple scales for 3D human pose estimation in video. The proposed STUNet architecture consists of a cascade structure of semantic graph convolution layers and structural temporal dilated convolution layers, progressively extracting and fusing the spatio-temporal semantic features from fine-grained to coarse-grained. This U-shaped network achieves scale compression and feature squeezing by downscaling and upscaling, while abstracting multi-resolution spatio-temporal dependencies through skip connections. Experiments demonstrate that our model effectively captures comprehensive spatio-temporal features in multiple scales and achieves substantial improvements over mainstream methods on real-world datasets.
登录
查看更多内容
影响因子：
19.5
作者：
Katircioglu, Isinsu;Tekin, Bugra;Fua, Pascal
通讯作者：
Fua, Pascal
DOI：
10.3390/s21062051
发表时间：
2021-03-15
期刊：
Sensors (Basel, Switzerland)
影响因子：
--
作者：
Nan M;Trăscău M;Florea AM;Iacob CC
通讯作者：
Iacob CC
DOI：
10.1109/tpami.2013.248
发表时间：
2014-07-01
影响因子：
23.6
作者：
Ionescu, Catalin;Papava, Dragos;Sminchisescu, Cristian
通讯作者：
Sminchisescu, Cristian
影响因子：
4.5
作者：
Liang, Shuang;Sun, Xiao;Wei, Yichen
通讯作者：
Wei, Yichen