Multi-task neural network with physical constraint for real-time multi-person 3D pose estimation from monocular camera
Multi-task neural network with physical constraint for real-time multi-person 3D pose estimation from monocular camera
复制标题
具有物理约束的多任务神经网络，用于单目相机实时多人 3D 姿态估计
DOI：
10.1007/s11042-021-10982-1
复制
发表时间：
2021
影响因子：
3.6
通讯作者：
Ikenaga Takeshi
中科院分区：
文献类型：
--
作者：
Luo Dingli;Du Songlin;Ikenaga Takeshi
三维人体姿态估计在人机交互、人体动作识别等领域有着重要的应用。从单个RGB图像同时实现实时速度、变化的人数和高精度是一个具有挑战性的问题。为此，本文提出了一种带物理约束的多任务多级神经网络结构。独特的网络结构以端到端的方式从单个RGB图像中估计3D人体姿势，并实现高精度和高速度。实验结果表明，该系统在RTX 2080 GPU上实现了21 fps的帧速率，与传统系统相比，精度损失仅为33 mm。并通过网络可视化的方法分析了网络的作用机理。这项工作显示了从单个RGB单目相机以实时速度估计3D人体姿态的可能性。
3D human pose estimation has many important applications in human-computer interaction and human action recognition. Simultaneously achieving real-time speed, varying human number, and high accuracy from a single RGB image is a challenging problem. To this end, this paper proposes a multi-task and multi-level neural network structure with physical constraint. The unique network structure estimates 3D human poses from single RGB image in an end-to-end way and achieves both high accuracy and high speed. Experimental results shows that the proposed system achieves 21 fps on RTX 2080 GPU with only 33 mm accuracy loss compared with conventional works. The mechanism of the network is also analyzed through network visualization. This work shows the possibility of estimating 3D human pose from a single RGB monocular camera with real-time speed.
登录
查看更多内容
用于实时多人姿势估计的端到端特征金字塔网络
DOI：
10.23919/mva.2019.8758029
发表时间：
2019
期刊：
2019 16th International Conference on Machine Vision Applications (MVA)
影响因子：
--
作者：
Dingli Luo;Songlin Du;T. Ikenaga
通讯作者：
T. Ikenaga
影响因子：
3.2
作者：
Zhang, Zhengyou
通讯作者：
Zhang, Zhengyou
基于双目图像的建模的高分辨率深度
DOI：
10.1016/j.cag.2013.12.001
发表时间：
2014
期刊：
Computers & graphics
影响因子：
--
作者：
David Blumenthal;Peter Eisert
通讯作者：
Peter Eisert
基于多任务和多级检测神经网络的实时 3D 姿态估计
DOI：
--
发表时间：
2019
期刊：
Asia-Pacific Signal and Information Processing Association Annual Summit and Conference
影响因子：
--
作者：
Dingli Luo;Songlin Du;T. Ikenaga
通讯作者：
T. Ikenaga
使用改进的SIFT算法的双目视觉-SLAM
DOI：
10.1109/iwisa.2010.5473273
发表时间：
2010
期刊：
2010 2nd International Workshop on Intelligent Systems and Applications
影响因子：
--
作者：
Daixian Zhu
通讯作者：
Daixian Zhu