Self-Supervised Keypoint Discovery in Behavioral Videos.
Self-Supervised Keypoint Discovery in Behavioral Videos.
复制标题
DOI：
10.1109/cvpr52688.2022.00221
复制
发表时间：
2022-06
期刊：
影响因子：
--
通讯作者：
Perona, Pietro
中科院分区：
文献类型：
--
作者：
Sun, Jennifer J.;Ryou, Serim;Goldshmid, Roni H.;Weissbourd, Brandon;Dabiri, John O.;Anderson, David J.;Kennedy, Ann;Yue, Yisong;Perona, Pietro
提出了一种从未标记的行为视频中学习智能体的姿态和结构的方法。从行为主体通常是行为视频中运动的主要来源这一观察出发，我们的方法，行为关键点发现(B-KIND)，使用具有几何瓶颈的编解码器结构来重建视频帧之间的时空差异。通过只关注运动区域，我们的方法可以直接在输入视频上工作，而不需要手动注释。在各种代理类型(老鼠、苍蝇、人类、水母和树)上的实验证明了我们方法的通用性，并揭示了我们发现的关键点代表了有语义意义的身体部位，在自我监督方法中实现了关键点回归的最先进性能。此外，B-Kind在下游任务上的性能与监督关键点相当，例如行为分类，这表明我们的方法可以显著降低模型训练成本。
We propose a method for learning the posture and structure of agents from unlabelled behavioral videos. Starting from the observation that behaving agents are generally the main sources of movement in behavioral videos, our method, Behavioral Keypoint Discovery (B-KinD), uses an encoder-decoder architecture with a geometric bottleneck to reconstruct the spatiotemporal difference between video frames. By focusing only on regions of movement, our approach works directly on input videos without requiring manual annotations. Experiments on a variety of agent types (mouse, fly, human, jellyfish, and trees) demonstrate the generality of our approach and reveal that our discovered keypoints represent semantically meaningful body parts, which achieve state-of-the-art performance on keypoint regression among self-supervised methods. Additionally, B-KinD achieve comparable performance to supervised keypoints on downstream tasks, such as behavior classification, suggesting that our method can dramatically reduce model training costs vis-a-vis supervised methods.
登录
查看更多内容
在美国主要城市中，对城市热岛强度的暴露不成比例。
影响因子：
16.6
作者：
Hsu A;Sheriff G;Chakraborty T;Manya D
通讯作者：
Manya D
从数据中发现物理学：普遍法律和差异。
影响因子：
4
作者：
de Silva BM;Higdon DM;Brunton SL;Kutz JN
通讯作者：
Kutz JN
影响因子：
48
作者：
Dankert, Heiko;Wang, Liming;Hoopfer, Eric D.;Anderson, David J.;Perona, Pietro
通讯作者：
Perona, Pietro
影响因子：
48
作者：
Kabra, Mayank;Robie, Alice A.;Branson, Kristin
通讯作者：
Branson, Kristin
影响因子：
48
作者：
Branson, Kristin;Robie, Alice A.;Bender, John;Perona, Pietro;Dickinson, Michael H.
通讯作者：
Dickinson, Michael H.