Training Convolutional ReLU Neural Networks in Polynomial Time: Exact Convex Optimization Formulations
Training Convolutional ReLU Neural Networks in Polynomial Time: Exact Convex Optimization Formulations
复制标题
在多项式时间内训练卷积 ReLU 神经网络：精确的凸优化公式
DOI：
--
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Mert Pilanci
中科院分区：
文献类型：
--
作者：
Tolga Ergen;Mert Pilanci
我们研究了具有RELU激活的卷积神经网络（CNN）的培训，并介绍了具有多项式复杂性的精确凸优化公式，相对于数据样本的数量，神经元的数量和数据维度。特别是，我们利用半无限双重性来开发一个凸的分析框架，以获得几种CNN体系结构的等效凸优化问题。我们首先证明可以通过$ ELL_2 $规范正规凸面程序全局优化两层CNN。然后，我们证明某些三层CNN培训问题等于$ ELL_1 $正规凸面程序。我们还将这些结果扩展到多层CNN体系结构。此外，我们提出了我们对不同合并方法的方法的扩展。
We study training of Convolutional Neural Networks (CNNs) with ReLU activations and introduce exact convex optimization formulations with a polynomial complexity with respect to the number of data samples, the number of neurons and data dimension. Particularly, we develop a convex analytic framework utilizing semi-infinite duality to obtain equivalent convex optimization problems for several CNN architectures. We first prove that two-layer CNNs can be globally optimized via an $ell_2$ norm regularized convex program. We then show that certain three-layer CNN training problems are equivalent to an $ell_1$ regularized convex program. We also extend these results to multi-layer CNN architectures. Furthermore, we present extensions of our approach to different pooling methods.
超参数化神经网络的凸几何和对偶性
影响因子：
6
作者：
Ergen, T.;Pilanci, M.
通讯作者：
Pilanci, M.
DOI：
--
发表时间：
2019-02
期刊：
--
影响因子：
--
作者：
Pedro H. P. Savarese;Itay Evron;Daniel Soudry;N. Srebro
通讯作者：
Pedro H. P. Savarese;Itay Evron;Daniel Soudry;N. Srebro
神经网络是凸正则化器：两层网络的精确多项式时间凸优化公式
DOI：
--
发表时间：
2020
期刊：
International Conference on Machine Learning
影响因子：
--
作者：
Pilanci, Mert;Ergen, Tolga
通讯作者：
Ergen, Tolga