Automated audiovisual behavior recognition in wild primates.
Automated audiovisual behavior recognition in wild primates.
复制标题
DOI：
10.1126/sciadv.abi4883
复制
发表时间：
2021-11-12
期刊：
影响因子：
13.6
通讯作者：
Zisserman A
中科院分区：
文献类型：
--
作者：
Bain M;Nagrani A;Schofield D;Berdugo S;Bessa J;Owen J;Hockings KJ;Matsuzawa T;Hayashi M;Biro D;Carvalho S;Zisserman A
利用黑猩猩敲击行为的视听数据进行深度学习，可以在野外实现动作识别。野生动物行为的大型视频数据集对于进行纵向研究和加速保护工作至关重要；然而，大规模的行为分析仍然受到时间和资源的严重限制。我们提出了一种深度卷积神经网络方法和全自动管道来检测和跟踪野生黑猩猩的两种视听上不同的动作：支撑鼓和坚果破裂。使用摄像机陷阱和直接视频记录，我们使用两种行为的音频和视觉特征来训练动作识别模型，获得了较高的平均精度（鼓点：0.87和坚果破裂：0.85），并展示了使用自动解析视频进行行为分析的潜力。我们的方法产生了野生灵长类动物行为的第一个自动视听动作识别，为利用行为学和保护的大型数据集设置了一个里程碑。
Deep learning using audiovisual data from chimpanzee percussive behaviors enables action recognition in the wild. Large video datasets of wild animal behavior are crucial to produce longitudinal research and accelerate conservation efforts; however, large-scale behavior analyses continue to be severely constrained by time and resources. We present a deep convolutional neural network approach and fully automated pipeline to detect and track two audiovisually distinctive actions in wild chimpanzees: buttress drumming and nut cracking. Using camera trap and direct video recordings, we train action recognition models using audio and visual signatures of both behaviors, attaining high average precision (buttress drumming: 0.87 and nut cracking: 0.85), and demonstrate the potential for behavioral analysis using the automatically parsed video. Our approach produces the first automated audiovisual action recognition of wild primate behavior, setting a milestone for exploiting large datasets in ethology and conservation.
登录
查看更多内容
影响因子：
56.9
作者：
Kuehl, Hjalmar S.;Boesch, Christophe;Kalan, Ammie K.
通讯作者：
Kalan, Ammie K.
用于动物自发行为映射的分层 3D 运动学习框架
影响因子：
16.6
作者：
Huang K;Han Y;Chen K;Pan H;Zhao G;Yi W;Li X;Liu S;Wei P;Wang L
通讯作者：
Wang L
影响因子：
1.7
作者：
Arcadi, AC;Robert, D;Boesch, C
通讯作者：
Boesch, C
影响因子：
25
作者：
Mathis, Alexander;Mamidanna, Pranav;Bethge, Matthias
通讯作者：
Bethge, Matthias
DOI：
10.1109/tpami.2012.59
发表时间：
2013-01-01
影响因子：
23.6
作者：
Ji, Shuiwang;Xu, Wei;Yu, Kai
通讯作者：
Yu, Kai