ONLINE LEARNING WITH A PERCEPTRON
ONLINE LEARNING WITH A PERCEPTRON
复制标题
DOI：
10.1209/0295-5075/28/7/012
复制
发表时间：
1994-12-01
期刊：
影响因子：
--
通讯作者：
RIEGLER, P
中科院分区：
文献类型：
--
作者：
BIEHL, M;RIEGLER, P
我们研究使用简单感知器在线学习线性可分离规则。训练利用一系列不相关的、随机抽取的 N 维输入示例。在热力学极限下，可以准确计算用 P 训练此类示例后的泛化误差。对于标准感知器算法，对于较大的 P/N，它会像 (NIP)(1/3) 一样减少，这与所谓的 Hebbian 学习的更快 (NIP)(1/2) 行为形成鲜明对比。此外，我们还证明了一种特定的无参数在线方案，即 AdaTron 算法，给出了泛化误差的渐近 (N/P) 衰减。这与基于随机示例的任何训练过程（包括离线学习）的界限一致（最多为常数因子）。模拟证实了我们的结果。
We study on-line learning of a linearly separable rule with a simple perceptron. Training utilizes a sequence of uncorrelated, randomly drawn N-dimensional input examples. In the thermodynamic limit the generalization error after training such examples with P can be calculated exactly. For the standard perceptron algorithm it decreaes like (NIP)(1/3) for large P/N, in contrast to the faster (NIP)(1/2)-behaviour of the so-called Hebbian learning. Furthermore, we show that a specific parameter-free on-line scheme, the AdaTron algorithm, gives an asymptotic (N/P)-decay of the generalization error. This coincides (up to a constant factor) with the bound for any training process based on random examples, including off-line learning. Simulations confirm our results.