SLEAP: A deep learning system for multi-animal pose tracking.
SLEAP: A deep learning system for multi-animal pose tracking.
复制标题
DOI：
10.1038/s41592-022-01426-1
复制
发表时间：
2022-04
期刊：
影响因子：
48
通讯作者：
Murthy, Mala
中科院分区：
文献类型：
--
作者：
Pereira, Talmo D.;Tabris, Nathaniel;Matsliah, Arie;Turner, David M.;Li, Junyu;Ravindranath, Shruthi;Papadoyannis, Eleni S.;Normand, Edna;Deutsch, David S.;Wang, Z. Yan;McKenzie-Smith, Grace C.;Mitelut, Catalin C.;Castro, Marielisa Diez;D'Uva, John;Kislin, Mikhail;Sanes, Dan H.;Kocher, Sarah D.;Wang, Samuel S-H;Falkner, Annegret L.;Shaevitz, Joshua W.;Murthy, Mala
对了解大脑如何产生和形成行为模式的渴望，推动了量化自然动物行为的工具的快速方法创新。虽然深度学习和计算机视觉的进步使得在单个动物中进行无标记姿势估计成为可能，但将其扩展到多个动物为研究自然环境中的社会行为或动物带来了独特的挑战。在这里，我们提出了社会跳跃估计动物姿势(SLEAP)，这是一个用于多动物姿势跟踪的机器学习系统。该系统支持多种工作流程，用于数据标记、模型训练和对以前未见过的数据进行推断。SLEAP具有可访问的图形用户界面、标准化的数据模型、可重现的配置系统、30多个模型架构、两种零件分组方法和两种身份跟踪方法。我们将Sleap应用于苍蝇、蜜蜂、老鼠和沙鼠的七个数据集，以系统地评估每种方法和架构，并将其与其他现有方法进行比较。SLEAP实现了更高的精度和速度，每秒超过800帧，在完全1,024 × 1,024图像分辨率下，延迟不到3.5 ms。这使得Sleap可用于实时应用程序，我们通过跟踪和检测一种动物与另一种动物的社会互动来控制另一种动物的行为。Sleap是一个多功能的基于深度学习的多动物姿势跟踪工具，旨在处理各种动物的视频，包括在社交行为期间。
The desire to understand how the brain generates and patterns behavior has driven rapid methodological innovation in tools to quantify natural animal behavior. While advances in deep learning and computer vision have enabled markerless pose estimation in individual animals, extending these to multiple animals presents unique challenges for studies of social behaviors or animals in their natural environments. Here we present Social LEAP Estimates Animal Poses (SLEAP), a machine learning system for multi-animal pose tracking. This system enables versatile workflows for data labeling, model training and inference on previously unseen data. SLEAP features an accessible graphical user interface, a standardized data model, a reproducible configuration system, over 30 model architectures, two approaches to part grouping and two approaches to identity tracking. We applied SLEAP to seven datasets across flies, bees, mice and gerbils to systematically evaluate each approach and architecture, and we compare it with other existing approaches. SLEAP achieves greater accuracy and speeds of more than 800 frames per second, with latencies of less than 3.5 ms at full 1,024 × 1,024 image resolution. This makes SLEAP usable for real-time applications, which we demonstrate by controlling the behavior of one animal on the basis of the tracking and detection of social interactions with another animal. SLEAP is a versatile deep learning-based multi-animal pose-tracking tool designed to work on videos of diverse animals, including during social behavior.
登录
查看更多内容
影响因子：
25
作者：
Mathis, Alexander;Mamidanna, Pranav;Bethge, Matthias
通讯作者：
Bethge, Matthias
在美国主要城市中，对城市热岛强度的暴露不成比例。
影响因子：
16.6
作者：
Hsu A;Sheriff G;Chakraborty T;Manya D
通讯作者：
Manya D
影响因子：
7.7
作者：
Kane GA;Lopes G;Saunders JL;Mathis A;Mathis MW
通讯作者：
Mathis MW
影响因子：
48
作者：
Romero-Ferrero, Francisco;Bergomi, Mattia G.;de Polavieja, Gonzalo G.
通讯作者：
de Polavieja, Gonzalo G.
影响因子：
25
作者：
Pereira TD;Shaevitz JW;Murthy M
通讯作者：
Murthy M