Local and Global Sparsity for Deep Learning Networks
Local and Global Sparsity for Deep Learning Networks
复制标题
深度学习网络的局部和全局稀疏性
DOI：
10.1007/978-3-319-71589-6_7
复制
发表时间：
2017-09
期刊：
影响因子：
--
通讯作者：
X. Ye
中科院分区：
文献类型：
--
作者：
L. Zhang;J. Zhao;X. Shi;X. Ye
事实证明，在深度学习网络中应用稀疏正则化是一种有效的方法。研究人员已经开发了几种算法来控制隐藏单元激活概率的稀疏性。然而，每一种方法都有其固有的局限性。本文首先分析了现有稀疏性算法的优缺点，并将其分为局部稀疏性和全局稀疏性两大类，首次引入正则化作为深度学习网络的全局稀疏性方法。其次，提出了一种结合局部和全局稀疏性方法的组合解决方案。第三，我们自定义提出的解决方案，以适应两个深度学习网络：深度信念网络（DBN）和生成对抗网络（GAN），然后在基准数据集MNIST和CelebA上进行测试。实验结果表明，该方法在数字识别上优于现有的稀疏度算法，在人脸生成上也取得了较好的效果。此外，该方法还可以稳定GAN损耗变化，消除噪声。
It has been proved that applying sparsity regularization in deep learning networks is an efficient approach. Researchers have developed several algorithms to control the sparseness of activation probability of hidden units. However, each of them has inherent limitations. In this paper, we firstly analyze weaknesses and strengths for popular sparsity algorithms, and categorize them into two groups: local and global sparsity.regularization is first time introduced as a global sparsity method for deep learning networks. Secondly, a combined solution is proposed to integrate local and global sparsity methods. Thirdly we customize proposed solution to fit in two deep learning networks: deep belief network (DBN) and generative adversarial network (GAN), and then test on benchmark datasets MNIST and CelebA. Experimental results show that our method outperforms existing sparsity algorithm on digits recognition, and achieves a better performance on human face generation. Additionally, proposed method could also stabilize GAN loss changes and eliminate noises.
登录
查看更多内容
DOI：
10.1109/icccnt56998.2023.10306417
发表时间：
2022-02
期刊：
2023 14th International Conference on Computing Communication and Networking Technologies (ICCCNT)
影响因子：
--
作者：
Gilad Cohen;Raja Giryes
通讯作者：
Gilad Cohen;Raja Giryes
基于率失真理论的稀疏响应深度置信网络
影响因子：
8
作者：
Ji, Nan-Nan;Zhang, Jiang-She;Zhang, Chun-Xia
通讯作者：
Zhang, Chun-Xia
DOI：
10.7551/mitpress/7503.003.0173
发表时间：
2006-12
期刊：
--
影响因子：
--
作者：
Graham W. Taylor;Geoffrey E. Hinton;S. Roweis
通讯作者：
Graham W. Taylor;Geoffrey E. Hinton;S. Roweis
影响因子：
32.8
作者：
Bengio, Yoshua
通讯作者：
Bengio, Yoshua
用于视觉数据分类的判别式深度信念网络
影响因子：
8
作者：
Liu, Yan;Zhou, Shusen;Chen, Qingcai
通讯作者：
Chen, Qingcai