Physical learning beyond the quasistatic limit
Physical learning beyond the quasistatic limit
复制标题
超越准静态极限的物理学习
DOI：
10.1103/physrevresearch.4.l022037
复制
发表时间：
2022
影响因子：
4.2
通讯作者：
Liu, Andrea J.
中科院分区：
文献类型：
--
作者：
Stern, Menachem;Dillavou, Sam;Miskin, Marc Z.;Durian, Douglas J.;Liu, Andrea J.
物理网络，例如生物神经网络，可以在没有中央处理器的情况下学习所需的功能，利用空间和时间上的局部学习规则以完全分布式的方式进行学习。平衡传播、定向老化和耦合学习等学习方法同样利用局部规则来完成机械网络、流网络或电气网络等物理网络中的学习。然而，与某些自然神经网络相比，此类方法迄今为止仅限于准静态极限，与物理放松相比，它们的学习时间尺度较慢。这种准静态约束会减慢学习速度，限制这些方法作为机器学习算法的使用，并可能限制可用作学习平台的物理网络。在这里，我们探索电阻网络中的学习，该网络在实验室和计算机上实现耦合学习，其速率范围从慢到远高于准静态极限。我们发现，在学习率与物理放松率之比达到临界阈值时，学习速度会加快，而行为或错误不会发生太大变化。超过临界阈值时，误差会表现出振荡动态，但网络仍然可以成功学习。
Physical networks, such as biological neural networks, can learn desired functions without a central processor, usinglocallearning rules in space and time to learn in a fully distributed manner. Learning approaches such as equilibrium propagation, directed aging, and coupled learning similarly exploit local rules to accomplish learning in physical networks such as mechanical, flow, or electrical networks. In contrast to certain natural neural networks, however, such approaches have so far been restricted to the quasistatic limit, where they learn on timescales slow compared to their physical relaxation. This quasistatic constraint slows down learning, limiting the use of these methods as machine learning algorithms, and potentially restricting physical networks that could be used as learning platforms. Here we explore learning in an electrical resistor network that implements coupled learning, both in the laboratory and on the computer, at rates that range from slow to far above the quasistatic limit. We find that up to a critical threshold in the ratio of the learning rate to the physical rate of relaxation, learning speeds up without much change of behavior or error. Beyond the critical threshold, the error exhibits oscillatory dynamics but the networks still learn successfully.
登录
查看更多内容
影响因子：
4.6
作者：
Dillavou, Sam;Stern, Menachem;Durian, Douglas J.
通讯作者：
Durian, Douglas J.
影响因子：
16.6
作者：
Stern M;Jayaram V;Murugan A
通讯作者：
Murugan A
影响因子：
3.4
作者：
Nidhi Pashine
通讯作者：
Nidhi Pashine
没有全局时钟的学习：物理驱动的学习网络中的异步学习
DOI：
--
发表时间：
2022
期刊：
ArXiv
影响因子：
--
作者：
J. F. Wycoff;Sam Dillavou;M. Stern;Andrea J. Liu;D. Durian
通讯作者：
D. Durian
通过机械系统中的物理变化进行监督学习
DOI：
10.1073/pnas.2000807117
发表时间：
2020
期刊：
Proceedings of the National Academy of Sciences
影响因子：
--
作者：
M. Stern;Chukwunonso Arinze;Leron Perez;S. Palmer;A. Murugan
通讯作者：
A. Murugan