Deep Learning Meets Sparse Regularization: A signal processing perspective
Deep Learning Meets Sparse Regularization: A signal processing perspective
复制标题
深度学习与稀疏正则化的结合：信号处理的视角
DOI：
10.1109/msp.2023.3286988
复制
发表时间：
2023
影响因子：
14.9
通讯作者：
R. Nowak
中科院分区：
文献类型：
--
作者：
Rahul Parhi;R. Nowak
深度学习（DL）在实践中取得了广泛的成功，大多数最先进的机器学习方法都是基于神经网络（NN）的。然而，缺乏严格的数学理论来充分解释深度NN（DNN）的惊人性能。在这篇文章中，我们提出了一个相对较新的数学框架，提供了一个更深入的理解DL的开始。这个框架精确地描述了经过训练以适应数据的NN的功能特性。支持这一框架的关键数学工具包括变换域稀疏正则化、计算机断层扫描的Radon变换和近似理论，这些都是深深植根于信号处理的技术。该框架解释了NN训练中权重衰减正则化的效果，网络架构中跳过连接和低秩权重矩阵的使用，稀疏性在NN中的作用，并解释了为什么NN可以在高维问题中表现良好。
Deep learning (DL) has been wildly successful in practice, and most of the state-of-the-art machine learning methods are based on neural networks (NNs). Lacking, however, is a rigorous mathematical theory that adequately explains the amazing performance of deep NNs (DNNs). In this article, we present a relatively new mathematical framework that provides the beginning of a deeper understanding of DL. This framework precisely characterizes the functional properties of NNs that are trained to fit to data. The key mathematical tools that support this framework include transform-domain sparse regularization, the Radon transform of computed tomography, and approximation theory, which are all techniques deeply rooted in signal processing. This framework explains the effect of weight decay regularization in NN training, use of skip connections and low-rank weight matrices in network architectures, role of sparsity in NNs, and explains why NNs can perform well in high-dimensional problems.
DOI：
--
发表时间：
2019-06
期刊：
ArXiv
影响因子：
--
作者：
Amartya Sanyal;Philip H. S. Torr;P. Dokania
通讯作者：
Amartya Sanyal;Philip H. S. Torr;P. Dokania
DOI：
--
发表时间：
2019-02
期刊：
--
影响因子：
--
作者：
Pedro H. P. Savarese;Itay Evron;Daniel Soudry;N. Srebro
通讯作者：
Pedro H. P. Savarese;Itay Evron;Daniel Soudry;N. Srebro
神经网络是凸正则化器：两层网络的精确多项式时间凸优化公式
DOI：
--
发表时间：
2020
期刊：
International Conference on Machine Learning
影响因子：
--
作者：
Pilanci, Mert;Ergen, Tolga
通讯作者：
Ergen, Tolga