Empirical evaluation of the improved Rprop learning algorithms
Empirical evaluation of the improved Rprop learning algorithms
复制标题
DOI：
10.1016/s0925-2312(01)00700-7
复制
发表时间：
2003-01-01
期刊：
影响因子：
6
通讯作者：
Hüsken, M
中科院分区：
文献类型：
--
作者：
Igel, C;Hüsken, M
Riedmiller 和 Braun 提出的 Rprop 算法是神经网络性能最好的一阶学习方法之一。我们讨论对该算法的修改，以提高其学习速度。新的优化方法在一组神经网络基准问题上与现有的 Rprop 变体、共轭梯度法、Quickprop 和 BFGS 算法进行了实证比较。改进后的Rprop优于其他方法；只有 BFGS 在某些测试问题的学习后期表现更好。为了分析局部搜索行为，我们比较了一般超抛物线误差景观上的 Rprop 算法，其中新变体证实了它们的改进。 (C) 2002 Elsevier Science B.V. 保留所有权利。
The Rprop algorithm proposed by Riedmiller and Braun is one of the best performing first-order learning methods for neural networks. We discuss modifications of this algorithm that improve its learning speed. The new optimization methods are empirically compared to the existing Rprop variants, the conjugate gradient method, Quickprop, and the BFGS algorithm on a set of neural network benchmark problems. The improved Rprop outperforms the other methods; only the BFGS performs better in the later stages of learning on some of the test problems. For the analysis of the local search behavior, we compare the Rprop algorithms on general hyperparabolic error landscapes, where the new variants confirm their improvement. (C) 2002 Elsevier Science B.V. All rights reserved.