Large-scale capture of hidden fluorescent labels for training generalizable markerless motion capture models.
Large-scale capture of hidden fluorescent labels for training generalizable markerless motion capture models.
复制标题
DOI：
10.1038/s41467-023-41565-3
复制
发表时间：
2023-09-26
影响因子：
16.6
通讯作者：
Azim, Eiman
中科院分区：
文献类型：
--
作者：
Butler, Daniel J.;Keim, Alexander P.;Ray, Shantanu;Azim, Eiman
基于深度学习的无标记跟踪彻底改变了动物行为的研究。然而，经过训练的模型的通用性往往受到限制，因为通常需要为每个设置或视觉环境手动生成新的训练数据。通过从头开始训练每个模型，研究人员跟踪不同的地标并以特殊的方式分析所得的运动学数据。此外，由于手动注释的固有限制，通常仅标记一组稀疏的地标。为了解决这些问题，我们开发了一种称为 GlowTrack 的方法，用于生成更多数量级的训练数据，从而使模型能够在实验环境中泛化。我们描述：a）使用荧光标记产生隐藏标签的高通量方法； b) 用于模拟不同视觉条件的多摄像机、多光源设置； c) 一种并行标记许多地标的技术，从而实现密集跟踪。这些进步为标准化行为流程和更全面的运动审查奠定了基础。基于深度学习的行为跟踪模型通常受到手动注释的限制。在这里，作者提出了 GlowTrack，这是一种使用荧光生成大型且多样化的训练集的方法，可提高模型的鲁棒性和跟踪覆盖范围。
Deep learning-based markerless tracking has revolutionized studies of animal behavior. Yet the generalizability of trained models tends to be limited, as new training data typically needs to be generated manually for each setup or visual environment. With each model trained from scratch, researchers track distinct landmarks and analyze the resulting kinematic data in idiosyncratic ways. Moreover, due to inherent limitations in manual annotation, only a sparse set of landmarks are typically labeled. To address these issues, we developed an approach, which we term GlowTrack, for generating orders of magnitude more training data, enabling models that generalize across experimental contexts. We describe: a) a high-throughput approach for producing hidden labels using fluorescent markers; b) a multi-camera, multi-light setup for simulating diverse visual conditions; and c) a technique for labeling many landmarks in parallel, enabling dense tracking. These advances lay a foundation for standardized behavioral pipelines and more complete scrutiny of movement. Deep learning-based models for tracking behavior are often constrained by manual annotation. Here, authors present GlowTrack, an approach using fluorescence to generate large and diverse training sets that improve model robustness and tracking coverage.
登录
查看更多内容
DOI：
10.1073/pnas.1607601113
发表时间：
2016-10-18
影响因子：
11.1
作者：
Berman, Gordon J.;Bialek, William;Shaevitz, Joshua W.
通讯作者：
Shaevitz, Joshua W.
影响因子：
48
作者：
Dunn TW;Marshall JD;Severson KS;Aldarondo DE;Hildebrand DGC;Chettih SN;Wang WL;Gellis AJ;Carlson DE;Aronov D;Freiwald WA;Wang F;Ölveczky BP
通讯作者：
Ölveczky BP
影响因子：
5.3
作者：
Dennis, Emily Jane;El Hady, Ahmed;Datta, Sandeep Robert
通讯作者：
Datta, Sandeep Robert
影响因子：
6.2
作者：
Han, Shangchen;Liu, Beibei;Wang, Robert
通讯作者：
Wang, Robert
影响因子：
19.5
作者：
Jin, Yuhe;Mishkin, Dmytro;Trulls, Eduard
通讯作者：
Trulls, Eduard