Trainable hardware for dynamical computing using error backpropagation through physical media.
Trainable hardware for dynamical computing using error backpropagation through physical media.
复制标题
DOI：
10.1038/ncomms7729
复制
发表时间：
2015-03-24
影响因子：
16.6
通讯作者：
Bienstman, Peter
中科院分区：
文献类型：
--
作者：
Hermans, Michiel;Burm, Michael;Van Vaerenbergh, Thomas;Dambre, Joni;Bienstman, Peter
神经网络目前是在数字冯·诺伊曼机器上实现的，它不能充分利用其固有的并行性。我们演示了如何使用一类新的可重构动态系统进行模拟信息处理，减轻了这个问题。我们用于动态模拟计算的通用硬件平台由一个具有非线性反馈的互反线性动力系统组成。由于互易性（光和声音的传播等许多物理现象的普遍属性），误差反向传播（调整此类系统以实现特定任务的关键步骤）可能发生在硬件中。这可能会大大加快优化过程，为神经启发硬件的可扩展性提供重要的好处。在本文中，我们使用一个实验验证和一个概念示例表明，这样的系统可以为构建高度可扩展的、完全动态的模拟计算机提供一个直接的机制。机器学习系统使用可以解释数据的算法来做出改进的决策。Hermans等人为基于递归神经网络的计算系统开发了一种物理方案，该方案在物理上实现了误差反向传播算法，从而执行了自己的训练过程。
Neural networks are currently implemented on digital Von Neumann machines, which do not fully leverage their intrinsic parallelism. We demonstrate how to use a novel class of reconfigurable dynamical systems for analogue information processing, mitigating this problem. Our generic hardware platform for dynamic, analogue computing consists of a reciprocal linear dynamical system with nonlinear feedback. Thanks to reciprocity, a ubiquitous property of many physical phenomena like the propagation of light and sound, the error backpropagation—a crucial step for tuning such systems towards a specific task—can happen in hardware. This can potentially speed up the optimization process significantly, offering important benefits for the scalability of neuro-inspired hardware. In this paper, we show, using one experimentally validated and one conceptual example, that such systems may provide a straightforward mechanism for constructing highly scalable, fully dynamical analogue computers. Machine learning systems use algorithms that can interpret data to make improved decisions. Hermans et al. develop a physical scheme for a computing system based on recurrent neural networks that physically implements the error backpropagation algorithm, thus performing its own training process.
登录
查看更多内容
影响因子：
3.8
作者：
Larger, L.;Soriano, M. C.;Fischer, I.
通讯作者：
Fischer, I.
影响因子：
16.6
作者：
Vandoorne, Kristof;Mechet, Pauline;Bienstman, Peter
通讯作者：
Bienstman, Peter
影响因子：
12.9
作者：
Lukosevicius, Mantas;Jaeger, Herbert
通讯作者：
Jaeger, Herbert
影响因子：
16.6
作者：
通讯作者：
--
影响因子：
20.6
作者：
CAULFIELD, HJ;KINSER, J;ROGERS, SK
通讯作者：
ROGERS, SK