Geometric deep learning enables 3D kinematic profiling across species and environments.
Geometric deep learning enables 3D kinematic profiling across species and environments.
复制标题
DOI：
10.1038/s41592-021-01106-6
复制
发表时间：
2021-05
期刊：
影响因子：
48
通讯作者：
Ölveczky BP
中科院分区：
文献类型：
--
作者：
Dunn TW;Marshall JD;Severson KS;Aldarondo DE;Hildebrand DGC;Chettih SN;Wang WL;Gellis AJ;Carlson DE;Aronov D;Freiwald WA;Wang F;Ölveczky BP
动物行为的全面描述需要精确测量3D全身运动。虽然2D方法可以在限制性环境中跟踪可见的地标，但由于遮挡和外观变化，自由移动的动物的性能下降。因此，我们设计了DANNCE来稳健地跟踪跨物种和行为的3D解剖标志。DANNCE使用投影几何来构建卷积神经网络的输入，该网络利用学习的3D几何推理。我们使用700万帧数据集对DANNCE进行了训练和基准测试，该数据集将彩色视频和啮齿动物3D姿势联系起来。在大鼠和小鼠中，DANNCE稳健地跟踪了自然环境中自由移动的动物的头部，躯干和四肢上的数十个地标。我们将DANNCE扩展到大鼠幼崽，绒猴和山雀的数据集，并展示了发育过程中行为谱系的定量分析。
Comprehensive descriptions of animal behavior require precise measurements of 3D whole-body movements. Although 2D approaches can track visible landmarks in restrictive environments, performance drops in freely moving animals, due to occlusions and appearance changes. Therefore, we designed DANNCE to robustly track anatomical landmarks in 3D across species and behaviors. DANNCE uses projective geometry to construct inputs to a convolutional neural network that leverages learned 3D geometric reasoning. We trained and benchmarked DANNCE using a 7-million frame dataset that relates color videos and rodent 3D poses. In rats and mice, DANNCE robustly tracked dozens of landmarks on the head, trunk, and limbs of freely moving animals in naturalistic settings. We extend DANNCE to datasets from rat pups, marmosets, and chickadees, and demonstrate quantitative profiling of behavioral lineage during development.
登录
查看更多内容
影响因子：
2.5
作者：
BOLLES, RC;WOODS, PJ
通讯作者：
WOODS, PJ
DOI：
10.1038/nrn.2015.8
发表时间：
2016-01
期刊：
Nature reviews. Neuroscience
影响因子：
--
作者：
Kalueff AV;Stewart AM;Song C;Berridge KC;Graybiel AM;Fentress JC
通讯作者：
Fentress JC
影响因子：
16.6
作者：
Bala, Praneet C.;Eisenreich, Benjamin R.;Zimmermann, Jan
通讯作者：
Zimmermann, Jan
影响因子：
16.6
作者：
Ayaz, Asli;Stauble, Andreas;Helmchen, Fritjof
通讯作者：
Helmchen, Fritjof
全身协调的定量框架揭示了自由行走共济失调小鼠的特定缺陷
影响因子：
7.7
作者：
Machado, Ana S.;Darmohray, Dana M.;Carey, Megan R.
通讯作者：
Carey, Megan R.