Parameters Compressing in Deep Learning
Parameters Compressing in Deep Learning
复制标题
深度学习中的参数压缩
DOI：
10.32604/cmc.2020.06130
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Lim Se-Jung
中科院分区：
文献类型：
--
作者：
He Shiming;Li Zhuozhou;Tang Yangning;Liao Zhuofan;Li Feng;Lim Se-Jung
随着深度学习工具在图像分解和自然语言处理中的普及，如何支持和存储深度学习算法所需的大量参数成为亟待解决的问题。这些参数是巨大的，可以多达数百万。目前，一个可行的方向是利用稀疏表示技术对参数矩阵进行压缩，以达到减少参数、降低存储压力的目的。这些方法包括矩阵分解和张量分解。为了使向量能更好地利用矩阵分解和张量分解的压缩性能，我们采用了整形和展开的方法，使向量成为张量分解神经网络的输入和输出。分析了如何通过整形来获得最佳的压缩比。根据张量形状与参数个数的关系，得到了参数个数的一个下界。我们采取一些数据集来验证下界。
With the popularity of deep learning tools in image decomposition and natural language processing, how to support and store a large number of parameters required by deep learning algorithms has become an urgent problem to be solved. These parameters are huge and can be as many as millions. At present, a feasible direction is to use the sparse representation technique to compress the parameter matrix to achieve the purpose of reducing parameters and reducing the storage pressure. These methods include matrix decomposition and tensor decomposition. To let vector take advance of the compressing performance of matrix decomposition and tensor decomposition, we use reshaping and unfolding to let vector be the input and output of Tensor-Factorized Neural Networks. We analyze how reshaping can get the best compress ratio. According to the relationship between the shape of tensor and the number of parameters, we get a lower bound of the number of parameters. We take some data sets to verify the lower bound.
登录
查看更多内容
快速张量分解以实现准确的互联网异常检测
DOI：
10.1109/tnet.2017.2761704
发表时间：
2017-12
期刊：
IEEE/A CM Transactions on Networking
影响因子：
--
作者：
Kun Xie;Xiaocan Li;Xin Wang;Gaogang Xie;Jigang Wen;Jiannong Cao;Dafang Zhang
通讯作者：
Dafang Zhang
DOI：
10.1109/ijcnn.2018.8489213
发表时间：
2018-02
期刊：
2018 International Joint Conference on Neural Networks (IJCNN)
影响因子：
--
作者：
Andros Tjandra;S. Sakti;Satoshi Nakamura
通讯作者：
Andros Tjandra;S. Sakti;Satoshi Nakamura
DOI：
--
发表时间：
2015-11
期刊：
arXiv: Learning
影响因子：
--
作者：
Cheng Tai;Tong Xiao;Xiaogang Wang;E. Weinan
通讯作者：
Cheng Tai;Tong Xiao;Xiaogang Wang;E. Weinan
DOI：
10.1145/1722149.1722155
发表时间：
2008-08
期刊：
2008 IEEE International Conference on Data Mining Workshops
影响因子：
--
作者：
G. Takács;I. Pilászy;B. Németh;D. Tikk
通讯作者：
G. Takács;I. Pilászy;B. Németh;D. Tikk
DOI：
10.1109/ijcnn.2017.7966420
发表时间：
2017-05
期刊：
2017 International Joint Conference on Neural Networks (IJCNN)
影响因子：
--
作者：
Andros Tjandra;S. Sakti;Satoshi Nakamura
通讯作者：
Andros Tjandra;S. Sakti;Satoshi Nakamura