Real-time Human Motion Forecasting using a RGB Camera
Real-time Human Motion Forecasting using a RGB Camera
复制标题
使用 RGB 相机进行实时人体运动预测
DOI：
10.1109/vr.2019.8798178
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
H. Koike
中科院分区：
文献类型：
--
作者：
Erwin Wu;H. Koike
本文提出了一种实时人体运动预测系统，该系统使用RGB摄像头在虚拟现实中可视化未来的姿态。我们的系统由三个部分组成：使用残差神经网络从RGB帧中估计2D姿态，使用递归神经网络进行2D姿态预测，以及使用残差线性网络从预测的2D姿态进行3D恢复。为了提高时间特征的预测学习量，我们提出了一种特殊的方法，使用格光流的关节运动估计。在30帧/秒的视频中，在骨骼拟合之后，提前0.5秒建立目标人的预测3D模型。
This paper propose a real-time human motion forecasting system which visualize the future pose in virtual reality using a RGB camera. Our system consists of three parts: 2D pose estimation from RGB frames using a residual neural network, 2D pose forecasting using a recurrent neural network, and 3D recovery from the predicted 2D pose using a residual linear network. To improve the prediction learning quantity of temporal feature, we propose a special method using lattice optical flow for the joints movement estimation. After fitting the skeleton, a predicted 3d model of target human will be built 0.5s in advance in a 30-fps video.
影响因子：
6.2
作者：
Mehta, Dushyant;Sridhar, Srinath;Theobalt, Christian
通讯作者：
Theobalt, Christian