LiftPose3D, a deep learning-based approach for transforming two-dimensional to three-dimensional poses in laboratory animals.
LiftPose3D, a deep learning-based approach for transforming two-dimensional to three-dimensional poses in laboratory animals.
复制标题
DOI：
10.1038/s41592-021-01226-z
复制
发表时间：
2021-08
期刊：
影响因子：
48
通讯作者：
Ramdya P
中科院分区：
文献类型：
--
作者：
Gosztolai A;Günel S;Lobato-Ríos V;Pietro Abrate M;Morales D;Rhodin H;Fua P;Ramdya P
无标记的三维姿态估计已经成为实验室动物运动学研究中不可缺少的工具。目前大多数方法是通过基于深度网络的二维姿态估计的多视图三角测量来恢复三维姿态。然而，三角测量需要多个同步摄像机和复杂的校准协议，这阻碍了其在实验室研究中的广泛采用。在这里，我们描述了LiftPose3D，这是一种基于深度网络的方法，通过从单个2D摄像机视图中重建3D姿势来克服这些障碍。我们通过将LiftPose3D应用于使用苍蝇，小鼠，大鼠和猕猴的多个实验系统以及3D三角测量不切实际或不可能的情况来说明LiftPose3D的多功能性。我们的框架从不同的视角实现了对刻板和非刻板行为的精确提升。因此，LiftPose3D允许高质量的3D姿态估计，在没有复杂的相机阵列，繁琐的校准程序，尽管闭塞的身体部位在自由行为的动物。
Markerless 3D pose estimation has become an indispensable tool for kinematic studies of laboratory animals. Most current methods recover 3D pose by multi-view triangulation of deep network-based 2D pose estimates. However, triangulation requires multiple, synchronized cameras and elaborate calibration protocols that hinder its widespread adoption in laboratory studies. Here we describe LiftPose3D, a deep network-based method that overcomes these barriers by reconstructing 3D poses from a single 2D camera view. We illustrate LiftPose3D’s versatility by applying it to multiple experimental systems using flies, mice, rats, and macaque monkeys and in circumstances where 3D triangulation is impractical or impossible. Our framework achieves accurate lifting for stereotyped and non-stereotyped behaviors from different camera angles. Thus, LiftPose3D permits high-quality 3D pose estimation in the absence of complex camera arrays, tedious calibration procedures, and despite occluded body parts in freely behaving animals.
登录
查看更多内容
影响因子：
2.8
作者：
Isakov, Alexander;Buchanan, Sean M.;de Bivort, Benjamin
通讯作者：
de Bivort, Benjamin
影响因子：
64.8
作者：
通讯作者：
--
影响因子：
6.2
作者：
Loper, Matthew;Mahmood, Naureen;Black, Michael J.
通讯作者：
Black, Michael J.
影响因子：
25
作者：
Louis, Matthieu;Huber, Thomas;Vosshall, Leslie B.
通讯作者：
Vosshall, Leslie B.
电路电路的分布式控制，用于在果蝇中向后行走。
影响因子：
16.6
作者：
Feng K;Sen R;Minegishi R;Dübbert M;Bockemühl T;Büschges A;Dickson BJ
通讯作者：
Dickson BJ