A homotopy training algorithm for fully connected neural networks
A homotopy training algorithm for fully connected neural networks
复制标题
一种全连接神经网络的同伦训练算法
DOI：
10.1098/rspa.2019.0662
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Hao, Wenrui
中科院分区：
文献类型：
--
作者：
Chen, Qipin;Hao, Wenrui
本文提出了一种同伦训练算法（HTA）来解决复杂结构的全连接神经网络的优化问题。HTA通过自适应地增加层和节点，动态地从简化的版本开始构建神经网络，并以全连接网络结束。因此，相应的优化问题在开始时很容易解决，并通过HTA引导的连续路径连接到原始模型，这提供了获得全局最小值的高概率。通过沿着连续路径逐渐增加模型的复杂性，HTA为原始损失函数提供了一个相当好的解决方案。这一点得到了包括CIFAR-10上的VGG模型在内的各种数值结果的证实。例如，在采用批量归一化的VGG 13模型上，与传统方法相比，HTA在测试数据集上的错误率降低了11.86%。此外，HTA还允许我们通过自适应地构建神经网络来找到全连接神经网络的最佳结构。
In this paper, we present a homotopy training algorithm (HTA) to solve optimization problems arising from fully connected neural networks with complicated structures. The HTA dynamically builds the neural network starting from a simplified version and ending with the fully connected network via adding layers and nodes adaptively. Therefore, the corresponding optimization problem is easy to solve at the beginning and connects to the original model via a continuous path guided by the HTA, which provides a high probability of obtaining a global minimum. By gradually increasing the complexity of the model along the continuous path, the HTA provides a rather good solution to the original loss function. This is confirmed by various numerical results including VGG models on CIFAR-10. For example, on the VGG13 model with batch normalization, HTA reduces the error rate by 11.86% on the test dataset compared with the traditional method. Moreover, the HTA also allows us to find the optimal structure for a fully connected neural network by building the neutral network adaptively.
登录
查看更多内容
用于航空图像自动分析的卷积神经网络
DOI：
10.1109/dicta.2014.7008084
发表时间：
2014
期刊：
2014 International Conference on Digital Image Computing: Techniques and Applications (DICTA)
影响因子：
--
作者：
F. Maire;Luis Mejías Alvarez;A. Hodgson
通讯作者：
A. Hodgson
DOI：
10.1016/j.amc.2011.08.006
发表时间：
2011-11
期刊：
Appl. Math. Comput.
影响因子：
--
作者：
Wenrui Hao;J. Hauenstein;Bei Hu;A. Sommese
通讯作者：
Wenrui Hao;J. Hauenstein;Bei Hu;A. Sommese
DOI：
10.1002/cnm.2914
发表时间：
2018-02-01
影响因子：
2.1
作者：
Cang, Zixuan;Wei, Guo-Wei
通讯作者：
Wei, Guo-Wei
DOI：
10.1016/j.jcp.2013.05.008
发表时间：
2013-10
期刊：
J. Comput. Phys.
影响因子：
--
作者：
Wenrui Hao;J. Hauenstein;Chi-Wang Shu;A. Sommese;Zhiliang Xu;Yong-Tao Zhang
通讯作者：
Wenrui Hao;J. Hauenstein;Chi-Wang Shu;A. Sommese;Zhiliang Xu;Yong-Tao Zhang
影响因子：
3.1
作者：
Wang, Yingwei;Hao, Wenrui;Lin, Guang
通讯作者：
Lin, Guang