Spatiotemporal Sequence Memory for Prediction using Deep Sparse Coding
Spatiotemporal Sequence Memory for Prediction using Deep Sparse Coding
复制标题
使用深度稀疏编码进行预测的时空序列内存
DOI：
10.1145/3320288.3320295
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Kenyon, Garrett T.
中科院分区：
文献类型：
--
作者：
Kim, Edward;Lawson, Edgar;Sullivan, Keith;Kenyon, Garrett T.
我们的大脑是“预测机器”，我们不断地将我们的环境与我们大脑产生的内部模型的预测进行比较。通过观察我们的基本低级感觉系统以及它们如何预测我们在空间和时间中移动时的环境变化来证明这一点。事实上，即使在更高的认知水平上，我们也能够进行预测。我们可以预测物理定律如何影响人、地方和事物，甚至预测某人的句子的结尾。在我们的工作中，我们试图创建一个人工模型，能够在计算机视觉系统中模仿早期、低水平的生物预测行为。我们的预测视觉模型使用从深度稀疏编码中学习的时空序列记忆。这个模型是使用生物启发的架构实现的：一个利用序列记忆，侧抑制和自上而下的反馈生成框架。我们的模型通过简单地观察和学习世界，以完全无监督的方式学习数据的原因。时空特征通过最小化在空间和时间上卷积的重建误差来学习，并且随后可以用于识别、分类和未来的视频预测。我们的实验表明，我们能够准确地预测未来会发生什么;此外，我们可以使用我们的预测来检测合成和真实的视频序列中的异常，意外事件。
Our brains are, "prediction machines", where we are continuously comparing our surroundings with predictions from internal models generated by our brains. This is demonstrated by observing our basic low level sensory systems and how they predict environmental changes as we move through space and time. Indeed, even at higher cognitive levels, we are able to do prediction. We can predict how the laws of physics affect people, places, and things and even predict the end of someone's sentence.In our work, we sought to create an artificial model that is able to mimic early, low level biological predictive behavior in a computer vision system. Our predictive vision model uses spatiotemporal sequence memories learned from deep sparse coding. This model is implemented using a biologically inspired architecture: one that utilizes sequence memories, lateral inhibition, and top-down feedback in a generative framework. Our model learns the causes of the data in a completely unsupervised manner, by simply observing and learning about the world. Spatiotemporal features are learned by minimizing a reconstruction error convolved over space and time, and can subsequently be used for recognition, classification, and future video prediction. Our experiments show that we are able to accurately predict what will happen in the future; furthermore, we can use our predictions to detect anomalous, unexpected events in both synthetic and real video sequences.
不变多模态 Halle Berry 神经元的深度稀疏编码
DOI：
10.1109/cvpr.2018.00122
发表时间：
2017
期刊：
2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition
影响因子：
--
作者：
Edward Kim;Darryl Hannan;Garrett T. Kenyon
通讯作者：
Garrett T. Kenyon
DOI：
10.1109/icip.2007.4379981
发表时间：
2007
期刊：
2007 IEEE International Conference on Image Processing
影响因子：
--
作者：
C. Rozell;Don H. Johnson;Richard Baraniuk;B. Olshausen
通讯作者：
B. Olshausen
影响因子：
3.7
作者：
Brosch, M;Schreiner, CE
通讯作者：
Schreiner, CE