Self-Net: Lifelong Learning via Continual Self-Modeling.
Self-Net: Lifelong Learning via Continual Self-Modeling.
复制标题
自我网络：通过持续的自模型学习终身学习。
DOI：
10.3389/frai.2020.00019
复制
发表时间：
2020
影响因子：
4
通讯作者：
Estrada R
中科院分区：
文献类型：
--
作者：
Mandivarapu JK;Camp B;Estrada R
随着时间的推移学习一组任务，也称为持续学习（CL），是人工智能中最具挑战性的问题之一。虽然最近的方法在深度神经网络中实现了一定程度的 CL，但它们要么 (1) 为每个新任务存储一个新网络（或同等数量的参数），(2) 存储以前任务的训练数据，要么 (3) 限制网络学习新任务的能力。为了解决这些问题，我们提出了一种新颖的框架——Self-Net，它使用自动编码器来学习一组针对不同任务学习的权重的低维表示。我们证明这些低维向量可以用来生成原始权重的高保真回忆。 Self-Net 可以随着时间的推移整合新任务，几乎不需要重新训练，旧任务的性能损失最小，并且无需存储先前的训练数据。我们证明，我们的技术以连续的方式实现了超过 10 倍的存储压缩，并且它在众多数据集上的性能优于最先进的方法，包括 MNIST、CIFAR10、CIFAR100、Atari 和任务增量 CORe50 的连续版本。据我们所知，我们是第一个使用自动编码器对网络权重集进行顺序编码以实现持续学习的人。
Learning a set of tasks over time, also known as continual learning (CL), is one of the most challenging problems in artificial intelligence. While recent approaches achieve some degree of CL in deep neural networks, they either (1) store a new network (or an equivalent number of parameters) for each new task, (2) store training data from previous tasks, or (3) restrict the network's ability to learn new tasks. To address these issues, we propose a novel framework, Self-Net, that uses an autoencoder to learn a set of low-dimensional representations of the weights learned for different tasks. We demonstrate that these low-dimensional vectors can then be used to generate high-fidelity recollections of the original weights. Self-Net can incorporate new tasks over time with little retraining, minimal loss in performance for older tasks, and without storing prior training data. We show that our technique achieves over 10X storage compression in a continual fashion, and that it outperforms state-of-the-art approaches on numerous datasets, including continual versions of MNIST, CIFAR10, CIFAR100, Atari, and task-incremental CORe50. To the best of our knowledge, we are the first to use autoencoders to sequentially encode sets of network weights to enable continual learning.
登录
查看更多内容
影响因子：
9.2
作者：
Preston, Alison R.;Eichenbaum, Howard
通讯作者：
Eichenbaum, Howard
影响因子：
25
作者：
Carr, Margaret F.;Jadhav, Shantanu P.;Frank, Loren M.
通讯作者：
Frank, Loren M.
DOI：
10.1073/pnas.1803839115
发表时间：
2018-10-30
影响因子：
11.1
作者：
Masse, Nicolas Y.;Grant, Gregory D.;Freedman, David J.
通讯作者：
Freedman, David J.
DOI：
10.1073/pnas.1611835114
发表时间：
2017-03-28
影响因子：
11.1
作者：
Kirkpatricka, James;Pascanu, Razvan;Hadsell, Raia
通讯作者：
Hadsell, Raia