Winning the Lottery With Neural Connectivity Constraints: Faster Learning Across Cognitive Tasks With Spatially Constrained Sparse RNNs
Winning the Lottery With Neural Connectivity Constraints: Faster Learning Across Cognitive Tasks With Spatially Constrained Sparse RNNs
复制标题
利用神经连接约束赢得彩票：利用空间约束的稀疏 RNN 加快跨认知任务的学习速度
DOI：
10.1162/neco_a_01613
复制
发表时间：
2023
影响因子：
2.9
通讯作者：
Fiete, Ila R.
中科院分区：
文献类型：
--
作者：
Khona, Mikail;Chandra, Sarthak;Ma, Joy J.;Fiete, Ila R.
递归神经网络（RNN）通常用于对大脑中的电路进行建模，并且可以解决需要记忆、纠错或选择的各种困难的计算问题（Hopfield，; Maass等人，; Maass，）.然而，完全连接的RNN在结构上与它们的生物对应物形成对比，后者非常稀疏（约0.1%）。受新皮层的启发，其中神经连接受到沿沿着皮层片的物理距离和其他突触布线成本的约束，我们引入了局部掩码RNN（LM-RNN），其使用稀疏度低至4%的任务不可知的预定图。我们在与认知系统神经科学相关的多任务学习环境中研究了LM-RNN，其中具有一组常用的任务，20-Cog-tasks（Yang et al.，).我们通过反证法表明，20-Cog-task可以通过一个小的分离的autapses池来解决，我们可以机械地分析和理解。因此，这些任务没有达到在RNN中引入复杂的循环动力学和模块化结构的目标。接下来，我们贡献了一个新的认知多任务电池，Mod-Cog，由多达132个任务组成，其任务数量和任务复杂性是20-Cog-tasks的7倍。重要的是，虽然autapses可以解决简单的20-Cog-tasks，扩展的任务集需要更丰富的神经架构和连续的吸引子动态。在这些任务中，我们证明了具有最佳稀疏性的LM-RNN比完全连接的网络更快地训练和更好的数据效率。
Recurrent neural networks (RNNs) are often used to model circuits in the brain and can solve a variety of difficult computational problems requiring memory, error correction, or selection (Hopfield, ; Maass et al., ; Maass, ). However, fully connected RNNs contrast structurally with their biological counterparts, which are extremely sparse (about 0.1%). Motivated by the neocortex, where neural connectivity is constrained by physical distance along cortical sheets and other synaptic wiring costs, we introduce locality masked RNNs (LM-RNNs) that use task-agnostic predetermined graphs with sparsity as low as 4%. We study LM-RNNs in a multitask learning setting relevant to cognitive systems neuroscience with a commonly used set of tasks,20-Cog-tasks(Yang et al., ). We show through reductio ad absurdum that20-Cog-taskscan be solved by a small pool of separated autapses that we can mechanistically analyze and understand. Thus, these tasks fall short of the goal of inducing complex recurrent dynamics and modular structure in RNNs. We next contribute a new cognitive multitask battery,Mod-Cog, consisting of up to 132 tasks that expands by about seven-fold the number of tasks and task complexity of20-Cog-tasks. Importantly, while autapses can solve the simple20-Cog-tasks, the expanded task set requires richer neural architectures and continuous attractor dynamics. On these tasks, we show that LM-RNNs with an optimal sparsity result in faster training and better data efficiency than fully connected networks.
登录
查看更多内容
影响因子：
4.3
作者：
Klukas, Mirko;Lewis, Marcus;Fiete, Ila
通讯作者：
Fiete, Ila
通过生物神经网络的模块化调整关键性。
DOI：
10.1523/jneurosci.0865-23.2023
发表时间：
2023
期刊：
The Journal of neuroscience : the official journal of the Society for Neuroscience
影响因子：
--
作者：
Irani,Martín;Alderson,ThomasH
通讯作者：
Alderson,ThomasH
DOI：
--
发表时间：
2020-06
期刊：
ArXiv
影响因子：
--
作者：
Hidenori Tanaka;D. Kunin;Daniel L. K. Yamins;S. Ganguli
通讯作者：
Hidenori Tanaka;D. Kunin;Daniel L. K. Yamins;S. Ganguli
DOI：
--
发表时间：
2020
期刊：
--
影响因子：
--
作者：
Lea Duncker;Laura N. Driscoll;K. Shenoy;M. Sahani;David Sussillo
通讯作者：
Lea Duncker;Laura N. Driscoll;K. Shenoy;M. Sahani;David Sussillo
地形深度人工神经网络再现了灵长类颞下皮层面部处理网络的特征
DOI：
10.1101/2020.07.09.185116
发表时间：
2020
期刊：
bioRxiv
影响因子：
--
作者：
Hyodong Lee;Eshed Margalit;K. Jozwik;M. Cohen;N. Kanwisher;Daniel L. K. Yamins;J. DiCarlo
通讯作者：
J. DiCarlo