Replay in Deep Learning: Current Approaches and Missing Biological Elements.
Replay in Deep Learning: Current Approaches and Missing Biological Elements.
复制标题
DOI：
10.1162/neco_a_01433
复制
发表时间：
2021-10-12
影响因子：
2.9
通讯作者：
Kanan, Christopher
中科院分区：
文献类型：
--
作者：
Hayes, Tyler L.;Krishnan, Giri P.;Bazhenov, Maxim;Siegelmann, Hava T.;Sejnowski, Terrence J.;Kanan, Christopher
重放是一个或多个神经模式的重新激活，这些模式类似于过去清醒时经历的激活模式。重放最早是在睡眠期间的生物神经网络中观察到的，现在人们认为它在记忆的形成、提取和巩固中起着关键作用。类似重放的机制已经被纳入深度人工神经网络，随着时间的推移进行学习，以避免灾难性地忘记以前的知识。重播算法已成功用于监督、无监督和强化学习范式中的各种深度学习方法。在本文中，我们提供了第一个全面的比较重放在哺乳动物的大脑和重放在人工神经网络。我们确定了深度学习系统中缺少的生物重放的多个方面，并假设如何利用它们来改进人工神经网络。
Replay is the reactivation of one or more neural patterns, which are similar to the activation patterns experienced during past waking experiences. Replay was first observed in biological neural networks during sleep, and it is now thought to play a critical role in memory formation, retrieval, and consolidation. Replay-like mechanisms have been incorporated into deep artificial neural networks that learn over time to avoid catastrophic forgetting of previous knowledge. Replay algorithms have been successfully used in a wide range of deep learning methods within supervised, unsupervised, and reinforcement learning paradigms. In this paper, we provide the first comprehensive comparison between replay in the mammalian brain and replay in artificial neural networks. We identify multiple aspects of biological replay that are missing in deep learning systems and hypothesize how they could be utilized to improve artificial neural networks.
登录
查看更多内容
影响因子：
5.7
作者：
Bader, Regine;Mecklinger, Axel;Meyer, Patric
通讯作者：
Meyer, Patric
DOI：
10.1016/s0764-4469(97)82472-9
发表时间：
1997-12-01
期刊：
COMPTES RENDUS DE L ACADEMIE DES SCIENCES SERIE III-SCIENCES DE LA VIE-LIFE SCIENCES
影响因子：
--
作者：
Ans, B;Rousset, S
通讯作者：
Rousset, S
影响因子：
4.8
作者：
Barakat, Marc;Carrier, Julie;Doyon, Julien
通讯作者：
Doyon, Julien
影响因子：
16.2
作者：
Aimone JB;Deng W;Gage FH
通讯作者：
Gage FH
影响因子：
8.2
作者：
Baird, Benjamin;Smallwood, Jonathan;Schooler, Jonathan W.
通讯作者：
Schooler, Jonathan W.