Convex Relaxations of Convolutional Neural Nets
Convex Relaxations of Convolutional Neural Nets
复制标题
卷积神经网络的凸松弛
DOI：
--
复制
发表时间：
2018
期刊：
影响因子：
--
通讯作者：
Mert Pilanci
中科院分区：
文献类型：
--
作者：
Burak Bartan;Mert Pilanci
我们提出了具有一个隐藏层的卷积神经网络的凸松弛，其中输出权重是固定的。对于凸激活函数（例如修正线性单元），松弛是凸二阶锥程序，可以非常有效地求解。我们证明，在给定高斯分布中足够多的训练样本的情况下，松弛可以在植入模型假设下恢复全局最小值。我们还发现了恢复全局最小值的相变现象。
We propose convex relaxations for convolutional neural nets with one hidden layer where the output weights are fixed. For convex activation functions such as rectified linear units, the relaxations are convex second order cone programs which can be solved very efficiently. We prove that the relaxation recovers the global minimum under a planted model assumption, given sufficiently many training samples from a Gaussian distribution. We also identify a phase transition phenomenon in recovering the global minimum for the relaxation.
DOI：
--
发表时间：
2018-06
期刊：
--
影响因子：
--
作者：
Xiao Zhang;Yaodong Yu;Lingxiao Wang;Quanquan Gu
通讯作者：
Xiao Zhang;Yaodong Yu;Lingxiao Wang;Quanquan Gu