Implementation of Stochastic Quasi-Newton's Method in PyTorch
Implementation of Stochastic Quasi-Newton's Method in PyTorch
复制标题
随机拟牛顿法在 PyTorch 中的实现
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Huidong Liu
中科院分区：
文献类型：
--
作者：
Yingkai Li;Huidong Liu
在本文中，我们实现了随机非凸优化的随机阻尼 LBFGS (SdLBFGS)。我们对原始 SdLBFGS 算法进行了两项重要修改。首先，通过在每一步使用单位矩阵初始化 Hessian，该算法比原始算法收敛得更好。其次，通过执行方向归一化，我们可以获得稳定的优化过程而无需线搜索。最小化二维非凸函数的实验表明，我们的改进算法比原始算法收敛得更好，并且在 CIFAR10 和 MNIST 数据集上的实验表明，我们的改进算法工作稳定，并且提供了与 PyTorch 中的一阶优化器 SGD、Adagrad 和二阶优化器 LBFGS 相当甚至更好的测试精度。
In this paper, we implement the Stochastic Damped LBFGS (SdLBFGS) for stochastic non-convex optimization. We make two important modifications to the original SdLBFGS algorithm. First, by initializing the Hessian at each step using an identity matrix, the algorithm converges better than original algorithm. Second, by performing direction normalization we could gain stable optimization procedure without line search. Experiments on minimizing a 2D non-convex function shows that our improved algorithm converges better than original algorithm, and experiments on the CIFAR10 and MNIST datasets show that our improved algorithm works stably and gives comparable or even better testing accuracies than first order optimizers SGD, Adagrad, and second order optimizers LBFGS in PyTorch.
开发 Adaptive Boost 方法并使用该方法分析铁中的碳扩散 [MD 奖获得者]
DOI：
--
发表时间：
2011
期刊：
影响因子：
--
作者：
石井明男;尾方成信;君塚肇
通讯作者：
君塚肇