Riemannian metrics for neural networks I: feedforward networks
Riemannian metrics for neural networks I: feedforward networks
复制标题
DOI：
10.1093/imaiai/iav006
复制
发表时间：
2013-03
期刊：
影响因子：
--
通讯作者：
Y. Ollivier
中科院分区：
文献类型：
--
作者：
Y. Ollivier
我们描述了四种神经网络训练算法，每种算法都适用于不同的可扩展性约束。这些算法在数学上是有原则的，并且在数据和网络表示的许多变换下是不变的，因此性能是独立的。这些算法是从微分几何的设置中获得的，并且基于使用Fisher信息矩阵的自然梯度，或者基于Hessian方法，以特定的方式缩小以允许可扩展性，同时保持其一些关键数学属性。
We describe four algorithms for neural network training, each adapted to different scalability constraints. These algorithms are mathematically principled and invariant under a number of transformations in data and network representation, from which performance is thus independent. These algorithms are obtained from the setting of differential geometry, and are based on either the natural gradient using the Fisher information matrix, or on Hessian methods, scaled down in a specific way to allow for scalability while keeping some of their key mathematical properties.