Improved Preconditioner for Hessian Free Optimization
Improved Preconditioner for Hessian Free Optimization
复制标题
用于 Hessian 自由优化的改进预处理器
DOI：
--
复制
发表时间：
2011
期刊：
影响因子：
--
通讯作者：
O. Chapelle
中科院分区：
文献类型：
--
作者：
O. Chapelle
我们研究了使用Hessian Free优化来学习深度自动编码器。该算法中的关键组件之一是预条件子的选择。我们认为，在本文中，Jacobi预条件导致更快的优化，我们展示了如何可以准确和有效地估计使用随机算法。
We investigate the use of Hessian Free optimization for learning deep autoencoders. One of the critical components in that algorithm is the choice of the preconditioner. We argue in this paper that the Jacobi preconditioner leads to faster optimization and we show how it can be accurately and efficiently estimated using a randomized algorithm.