Adversarial 3D Convolutional Auto-Encoder for Abnormal Event Detection in Videos
Adversarial 3D Convolutional Auto-Encoder for Abnormal Event Detection in Videos
复制标题
用于视频中异常事件检测的对抗性 3D 卷积自动编码器
DOI：
10.1109/tmm.2020.3023303
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Yuwei Wu
中科院分区：
文献类型：
--
作者：
Che Sun;Yunde Jia;Hao Song;Yuwei Wu
异常事件检测旨在识别偏离预期正常模式的事件。现有的方法通常单独提取外观和运动的正常时空模式，忽略了外观和运动模式之间的低水平相关性，可能无法捕获细粒度的时空模式。在本文中，我们建议同时学习外观和运动，以获得细粒度的时空模式。为此，我们提出了一种对抗性3D卷积自编码器来学习正常的时空模式，然后通过从视频中学习到的正常模式中分离异常事件来识别异常事件。编码器捕获视频空间和时间维度之间的低级相关性，并生成代表视觉时空信息的独特特征。解码器从3D去卷积表示的编码特征重构原始视频，并以无监督的方式学习正常的时空模式。我们引入去噪重建误差和对抗学习策略来训练三维卷积自编码器隐式学习被认为是正态模式的准确数据分布，这有利于增强自编码器识别异常事件的重建能力。理论分析和在四个公开数据集上的大量实验都证明了我们的方法的有效性。
Abnormal event detection aims to identify the events that deviate from expected normal patterns. Existing methods usually extract normal spatio-temporal patterns of appearance and motion in a separate manner, which ignores low-level correlations between appearance and motion patterns and may fall short of capturing fine-grained spatio-temporal patterns. In this paper, we propose to simultaneously learn appearance and motion to obtain fine-grained spatio-temporal patterns. To this end, we present an adversarial 3D convolutional auto-encoder to learn the normal spatio-temporal patterns and then identify abnormal events by diverging them from the learned normal patterns in videos. The encoder captures the low-level correlations between spatial and temporal dimensions of videos, and generates distinctive features representing visual spatio-temporal information. The decoder reconstrucccts the original video from the encoded features representing by 3D de-convolutions and learns the normal spatio-temporal patterns in an unsupervised manner. We introduce the denoising reconstruction error and adversarial learning strategy to train the 3D convolutional auto-encoder to implicitly learn accurate data distributions that are considered normal patterns, which benefits enhancing the reconstruction ability of the auto-encoder to discriminate abnormal events. Both the theoretical analysis and the extensive experiments on four publicly available datasets demonstrate the effectiveness of our method.
登录
查看更多内容
DOI：
10.24963/ijcai.2019/419
发表时间：
2019-08
期刊：
physica status solidi (b)
影响因子：
--
作者：
Wen Liu;Weixin Luo;Zhengxin Li;P. Zhao;Shenghua Gao
通讯作者：
Wen Liu;Weixin Luo;Zhengxin Li;P. Zhao;Shenghua Gao
DOI：
10.1109/cvpr.2009.5206569
发表时间：
2009-06
期刊：
2009 IEEE Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Jaechul Kim;K. Grauman
通讯作者：
Jaechul Kim;K. Grauman
通过自适应贪婪模型进行异常检测
影响因子：
6
作者：
Dongdong Hou;Yang Cong;Gan Sun;Ji Liu;Xiaowei Xu
通讯作者：
Xiaowei Xu
DOI：
10.1007/978-1-4614-6034-3_2
发表时间：
2013
期刊：
--
影响因子：
--
作者：
C. Dym;I. Shames
通讯作者：
C. Dym;I. Shames
DOI：
--
发表时间：
2016-12
期刊：
ArXiv
影响因子：
--
作者：
J. Medel;A. Savakis
通讯作者：
J. Medel;A. Savakis