Efficient Optimization of Convolutional Neural Networks Using Particle Swarm Optimization
Efficient Optimization of Convolutional Neural Networks Using Particle Swarm Optimization
复制标题
DOI：
10.1109/bigmm.2017.69
复制
发表时间：
2017-04
期刊：
影响因子：
--
通讯作者：
T. Yamasaki;Takuto Honma;K. Aizawa
中科院分区：
文献类型：
--
作者：
T. Yamasaki;Takuto Honma;K. Aizawa
这项工作提出了使用称为粒子群优化（PSO）的进化算法自动找到卷积神经网络（cnn）的最佳参数设置的方法。尽管参数空间非常大（> 10 20），但我们通过实验表明，可以为五个不同的图像数据集找到Alexnet配置的更好的参数设置。我们还开发了两种候选的剪枝算法，以提高进化过程的效率。在实验中，我们在Caffe中实现了0.7-5.7%的原始参数集改进，而只需要基于朴素pso方法的2-4%的处理成本。
This work presents methods to automatically find optimal parameter settings for convolutional neural networks (CNNs) by using an evolutionary algorithm called particle swarm optimization (PSO). Even though the parameter space is extremely large (> 10 20), we experimentally show that a better parameter setting can be found for Alexnet configuration for five different image datasets. We have also developed two candidate pruning algorithms for efficient evolutionary process. In the experiments, we achieved 0.7-5.7% improvements from the original parameter sets in Caffe, while requiring only 2-4% of processing cost of the naive PSO-based approach.