Electron-Proton Dynamics in Deep Learning
Electron-Proton Dynamics in Deep Learning
复制标题
深度学习中的电子-质子动力学
DOI：
10.1109/cvpr.2017.540
复制
发表时间：
2017
期刊：
影响因子：
--
通讯作者：
Sushant Sachdeva
中科院分区：
文献类型：
--
作者：
Qiuyi Zhang;R. Panigrahy;Sushant Sachdeva
我们通过（随机）梯度下降法研究神经网络学习神经网络的功效。虽然梯度下降在各种应用中取得了经验上的成功，但缺乏解释深度学习实际效用的理论保证。我们专注于输出节点上具有线性激活的两层神经网络。我们证明，在一些温和的假设和某些类别的激活函数下，梯度下降确实学习了神经网络的参数并收敛到全局最小值。使用节点式梯度下降算法，我们表明学习可以在有限的时间和样本复杂度（有时为 $poly(d,1/\epsilon)$）内完成。
We study the efficacy of learning neural networks with neural networks by the (stochastic) gradient descent method. While gradient descent enjoys empirical success in a variety of applications, there is a lack of theoretical guarantees that explains the practical utility of deep learning. We focus on two-layer neural networks with a linear activation on the output node. We show that under some mild assumptions and certain classes of activation functions, gradient descent does learn the parameters of the neural network and converges to the global minima. Using a node-wise gradient descent algorithm, we show that learning can be done in finite, sometimes $poly(d,1/\epsilon)$, time and sample complexity.
深度（呃）学习。
DOI：
10.1523/jneurosci.0153-18.2018
发表时间：
2018
期刊：
The Journal of neuroscience : the official journal of the Society for Neuroscience
影响因子：
--
作者：
Srinivasan,Shyam;Greenspan,RalphJ;Stevens,CharlesF;Grover,Dhruv
通讯作者：
Grover,Dhruv