Capturing detailed deformations of moving human bodies
Capturing detailed deformations of moving human bodies
复制标题
捕捉移动人体的详细变形
DOI：
10.1145/3450626.3459792
复制
发表时间：
2021
影响因子：
6.2
通讯作者：
Kavan, Ladislav
中科院分区：
文献类型：
--
作者：
Chen, He;Park, Hyojoon;Macit, Kutay;Kavan, Ladislav
我们提出了一种新的方法来捕捉详细的人体运动，采样超过1000个独特的点上的身体。我们的方法输出高度精确的4D（时空）点坐标，并且至关重要的是，自动为每个点分配一个坐标。这些点的位置和唯一标签仅从单个2D输入图像中推断，而不依赖于时间跟踪或任何人体形状或骨骼运动学模型。因此，我们捕获的点轨迹包含来自输入图像的所有细节，包括由于呼吸，肌肉收缩和肌肉变形引起的运动，并且非常适合用作训练数据，以拟合人体及其运动的高级模型。我们的系统背后的关键思想是一种新型的动捕服，其中包含一个特殊的图案与棋盘般的角落和两个字母的代码。来自我们的多摄像头系统的图像由一系列神经网络处理，这些神经网络经过训练以定位角落并识别代码，同时具有鲁棒性以适应身体的拉伸和自遮挡。我们的系统仅依赖于标准的RGB或单色传感器和完全被动的照明和被动服，使我们的方法易于复制，部署和使用。我们的实验展示了对各种各样的人体姿势的高度准确的捕捉，包括具有挑战性的动作，如瑜伽，体操或在地上滚动。
We present a new method to capture detailed human motion, sampling more than 1000 unique points on the body. Our method outputs highly accurate 4D (spatio-temporal) point coordinates and, crucially, automatically assigns a uniquelabelto each of the points. The locations and unique labels of the points are inferred from individual 2D input images only, without relying on temporal tracking or any human body shape or skeletal kinematics models. Therefore, our captured point trajectories contain all of the details from the input images, including motion due to breathing, muscle contractions and flesh deformation, and are well suited to be used as training data to fit advanced models of the human body and its motion. The key idea behind our system is a new type of motion capture suit which contains a special pattern with checkerboard-like corners and two-letter codes. The images from our multi-camera system are processed by a sequence of neural networks which are trained to localize the corners and recognize the codes, while being robust to suit stretching and self-occlusions of the body. Our system relies only on standard RGB or monochrome sensors and fully passive lighting and the passive suit, making our method easy to replicate, deploy and use. Our experiments demonstrate highly accurate captures of a wide variety of human poses, including challenging motions such as yoga, gymnastics, or rolling on the ground.
登录
查看更多内容
DOI：
10.1145/2897824.2925967
发表时间：
2016-07
期刊：
ACM Transactions on Graphics (TOG)
影响因子：
--
作者：
F. Prada;M. Kazhdan;Ming Chuang;Alvaro Collet;Hugues Hoppe
通讯作者：
F. Prada;M. Kazhdan;Ming Chuang;Alvaro Collet;Hugues Hoppe
DOI：
10.21236/ada406704
发表时间：
2002-06
期刊：
--
影响因子：
--
作者：
K. Robinette;Sherri U. Blackwell;H. Daanen;M. Boehmer;Scott M. Fleming
通讯作者：
K. Robinette;Sherri U. Blackwell;H. Daanen;M. Boehmer;Scott M. Fleming
DOI：
10.1109/34.888718
发表时间：
2000-11-01
影响因子：
23.6
作者：
Zhang, ZY
通讯作者：
Zhang, ZY
影响因子：
6.2
作者：
Mehta, Dushyant;Sridhar, Srinath;Theobalt, Christian
通讯作者：
Theobalt, Christian