Gradient rectified parameter unit of the fully connected layer in convolutional neural networks
Gradient rectified parameter unit of the fully connected layer in convolutional neural networks
复制标题
卷积神经网络中全连接层的梯度校正参数单元
DOI：
10.1016/j.knosys.2022.108797
复制
发表时间：
2022-04
期刊：
影响因子：
--
通讯作者：
Xiaotian Lin
中科院分区：
文献类型：
--
作者：
Tianyou Zheng;Qiang Wang;Yue Shen;Xiaotian Lin
现有的卷积神经网络（CNN）可视化方法呈现了反向传播中正梯度的重要性，并删除了不相关的负梯度进行改进。然而，CNN中的训练过程同样关注正梯度和负梯度的优化。在这项工作中，我们提出了一个梯度校正参数单元的全连接层（GRU-FC）的方法，它纠正相应的参数产生的负梯度在全连接层的零清除和重新训练的网络与整流参数。此外，提供了一个简化版本的GRU-FC，以加快训练的网络，有一个单一的全连接层的分类。对GRU-FC合理化的理论分析表明，GRU-FC-2L是一种适用于具有多个全连接层的网络的合理化方法。利用GRU-FC-2L对网络的收敛性进行了实验分析。在SV HN、STL 10、CIFAR 10和ImageNet数据集上对GRU-FC方法进行了验证，有效地提高了识别精度。此外，GRU-FC方法显示了一种定期而不是随机丢弃不重要权重的方法。
Existing visualization approaches of the convolutional neural network (CNN) present the importance of the positive gradient in backpropagation, and remove the irrelevant negative gradients for improvement. However, the training procedure in CNN pays the same attention to positive and negative gradients’ optimizations. In this work, we present a gradient rectified parameter unit of the fully connected layer (GRU-FC) approach, which rectifies the corresponding parameters generating the negative gradient in the fully connected layer by zero clearing and retrains the networks with the rectified parameters. Besides, a simplified version of GRU-FC is provided to accelerate the training of the network that has a single fully connected layer for classification. Theoretical analysis of the rationalization of GRU-FC presents that GRU-FC-2L is an appropriate approach for networks with more than one fully connected layer. Experiments on the convergence analysis of the network by GRU-FC-2L is conducted. The GRU-FC approach is verified on several datasets (ie, SV HN, STL10, CIFAR10 and ImageNet) with the recognition accuracy increased effectively. Furthermore, the GRU-FC approach shows a way to dropout unimportant weights regularly instead of randomness.
登录
查看更多内容
影响因子：
19.5
作者：
Russakovsky, Olga;Deng, Jia;Fei-Fei, Li
通讯作者：
Fei-Fei, Li
影响因子：
8.8
作者：
He, Xin;Zhao, Kaiyong;Chu, Xiaowen
通讯作者：
Chu, Xiaowen
影响因子：
19.5
作者：
Selvaraju, Ramprasaath R.;Cogswell, Michael;Batra, Dhruv
通讯作者：
Batra, Dhruv
DOI：
10.1016/j.knosys.2019.04.019
发表时间：
2019-08
期刊：
Knowl. Based Syst.
影响因子：
--
作者：
Y. Yoo
通讯作者：
Y. Yoo
影响因子：
19.5
作者：
Wu, Yuxin;He, Kaiming
通讯作者：
He, Kaiming