Efficient neural codes naturally emerge through gradient descent learning.
Efficient neural codes naturally emerge through gradient descent learning.
复制标题
DOI：
10.1038/s41467-022-35659-7
复制
发表时间：
2022-12-29
影响因子：
16.6
通讯作者：
Kording, Konrad P. P.
中科院分区：
文献类型：
--
作者：
Benjamin, Ari S. S.;Zhang, Ling-Qi;Qiu, Cheng;Stocker, Alan A. A.;Kording, Konrad P. P.
人类的感觉系统对环境中常见的特征比不常见的特征更敏感。例如，与较频繁遇到的水平方向的小偏差比与较不频繁的对角方向的小偏差更容易被检测到。在这里，我们发现被训练来识别对象的人工神经网络也具有与图像中特征的统计相匹配的敏感性模式。为了解释这些发现，我们在数学上表明，神经网络中的梯度下降学习优先创建对共同特征更敏感的表示，这是有效编码的标志。这种效果发生在具有其他不受限制的编码资源的系统中，并且另外在向监督和非监督目标学习时发生。这一结果表明，高效的代码可以自然地从类梯度学习中产生。在动物身上，感觉系统似乎针对外部世界的统计数据进行了优化。在这里，作者采用了人工心理物理学的方法，分析了人工神经网络中的感觉反应，并展示了为什么这些反应表现出与自然感觉系统相同的现象。
Human sensory systems are more sensitive to common features in the environment than uncommon features. For example, small deviations from the more frequently encountered horizontal orientations can be more easily detected than small deviations from the less frequent diagonal ones. Here we find that artificial neural networks trained to recognize objects also have patterns of sensitivity that match the statistics of features in images. To interpret these findings, we show mathematically that learning with gradient descent in neural networks preferentially creates representations that are more sensitive to common features, a hallmark of efficient coding. This effect occurs in systems with otherwise unconstrained coding resources, and additionally when learning towards both supervised and unsupervised objectives. This result demonstrates that efficient codes can naturally emerge from gradient-like learning. In animals, sensory systems appear optimized for the statistics of the external world. Here the authors take an artificial psychophysics approach, analysing sensory responses in artificial neural networks, and show why these demonstrate the same phenomenon as natural sensory systems.
登录
查看更多内容
影响因子：
64.8
作者：
Ahissar, M;Hochstein, S
通讯作者：
Hochstein, S
影响因子：
1.8
作者：
Armstrong, Vickie;Maurer, Daphne;Lewis, Terri L.
通讯作者：
Lewis, Terri L.
影响因子：
1.8
作者：
CAELLI, T;BRETTEL, H;HILZ, R
通讯作者：
HILZ, R
DOI：
10.1073/pnas.95.23.13988
发表时间：
1998-11-10
影响因子：
11.1
作者：
Dosher, BA;Lu, ZL
通讯作者：
Lu, ZL
影响因子：
16.6
作者：
Canatar A;Bordelon B;Pehlevan C
通讯作者：
Pehlevan C