Three-dimensional unsupervised probabilistic pose reconstruction (3D-UPPER) for freely moving animals.
Three-dimensional unsupervised probabilistic pose reconstruction (3D-UPPER) for freely moving animals.
复制标题
DOI：
10.1038/s41598-022-25087-4
复制
发表时间：
2023-01-04
影响因子：
4.6
通讯作者：
Storchi, Riccardo
中科院分区：
文献类型：
--
作者：
Ebrahimi, Aghileh S.;Orlowska-Feuer, Patrycja;Huang, Qian;Zippo, Antonio G.;Martial, Franck P.;Petersen, Rasmus S.;Storchi, Riccardo
理解动物行为的关键一步在于量化姿势和动作的能力。在过去的几年里，在2D中跟踪身体标志的方法已经取得了很大的进展，但自由移动动物的准确3D重建仍然是一个挑战。为了解决这一挑战，我们开发了3D-UPPER算法，该算法是完全自动化的，不需要身体属性的先验知识，也可以应用于2D数据。我们发现，3D-UPPER减少了折叠的错误，在自由移动的行为与传统的三角测量的2D数据相比，在小鼠身体的3D重建。为了实现这一目标，3D-UPPER执行统计形状模型（SSM）的无监督估计，并使用该模型来约束可行的3D坐标。我们表明，通过使用模拟数据，我们的SSM估计是强大的，即使在数据集包含高达50%的构成离群值和/或缺失数据。在模拟和真实的数据中，SSM估计快速收敛，捕获与探索行为相关的身体形状的行为相关变化（例如，与饲养和身体取向的变化）。总之，3D-UPPER是一种简单的工具，可以在捕获有意义的行为参数的同时最大限度地减少3D重建中的错误。
A key step in understanding animal behaviour relies in the ability to quantify poses and movements. Methods to track body landmarks in 2D have made great progress over the last few years but accurate 3D reconstruction of freely moving animals still represents a challenge. To address this challenge here we develop the 3D-UPPER algorithm, which is fully automated, requires no a priori knowledge of the properties of the body and can also be applied to 2D data. We find that 3D-UPPER reduces by fold the error in 3D reconstruction of mouse body during freely moving behaviour compared with the traditional triangulation of 2D data. To achieve that, 3D-UPPER performs an unsupervised estimation of a Statistical Shape Model (SSM) and uses this model to constrain the viable 3D coordinates. We show, by using simulated data, that our SSM estimator is robust even in datasets containing up to 50% of poses with outliers and/or missing data. In simulated and real data SSM estimation converges rapidly, capturing behaviourally relevant changes in body shape associated with exploratory behaviours (e.g. with rearing and changes in body orientation). Altogether 3D-UPPER represents a simple tool to minimise errors in 3D reconstruction while capturing meaningful behavioural parameters.
登录
查看更多内容
影响因子：
48
作者：
Gosztolai A;Günel S;Lobato-Ríos V;Pietro Abrate M;Morales D;Rhodin H;Fua P;Ramdya P
通讯作者：
Ramdya P
影响因子：
48
作者：
Dunn TW;Marshall JD;Severson KS;Aldarondo DE;Hildebrand DGC;Chettih SN;Wang WL;Gellis AJ;Carlson DE;Aronov D;Freiwald WA;Wang F;Ölveczky BP
通讯作者：
Ölveczky BP
影响因子：
16.2
作者：
Klaus A;Martins GJ;Paixao VB;Zhou P;Paninski L;Costa RM
通讯作者：
Costa RM
影响因子：
16.6
作者：
Huang M;Li D;Cheng X;Pei Q;Xie Z;Gu H;Zhang X;Chen Z;Liu A;Wang Y;Sun F;Li Y;Zhang J;He M;Xie Y;Zhang F;Qi X;Shang C;Cao P
通讯作者：
Cao P
影响因子：
14.8
作者：
Nath, Tanmay;Mathis, Alexander;Mathis, Mackenzie Weygandt
通讯作者：
Mathis, Mackenzie Weygandt