Hardware-Oriented Compression of Long Short-Term Memory for Efficient Inference
Hardware-Oriented Compression of Long Short-Term Memory for Efficient Inference
复制标题
面向硬件的长短期内存压缩以实现高效推理
DOI：
10.1109/lsp.2018.2834872
复制
发表时间：
2018-05
影响因子：
3.9
通讯作者：
Zongfeng Wang
中科院分区：
文献类型：
--
作者：
Zhisheng Wang;Jun Lin;Zongfeng Wang
长短期记忆及其变体在序列数据处理中得到了广泛的应用。然而，固有的大内存需求和高计算复杂度使其难以在嵌入式系统中应用。这就需要对LSTM进行模型压缩和专用硬件加速器。在这篇文章中，引入了有效的裁剪门控和top-k修剪方案，将LSTM中的密集矩阵计算转换为结构化的稀疏矩阵稀疏向量乘法。然后，提出了混合量化方案来消除LSTM中的大部分乘法。所提出的压缩方案非常适合于高效的硬件实现。实验结果表明，在单词级语言建模任务中，模型大小和矩阵运算次数分别减少了32倍和18.5倍，而准确率损失不到1%。
Long short-term memory (LSTM) and its variants have been widely adopted in processing sequential data. However, the intrinsic large memory requirement and high computational complexity make it hard to be employed in embedded systems. This incurs the need of model compression and dedicated hardware accelerator for LSTM. In this letter, efficient clipped gating and top-k pruning schemes are introduced to convert the dense matrix computations in LSTM into structured sparse-matrix-sparse-vector multiplications. Then, mixed quantization schemes are developed to eliminate most of the multiplications in LSTM. The proposed compression scheme is well suited for efficient hardware implementations. Experimental results show that the model size and the number of matrix operations can be reduced by 32× and 18.5×, respectively, at a cost of less than 1% accuracy loss on a word-level language modeling task.
登录
查看更多内容
DOI：
--
发表时间：
2014-09
期刊：
ArXiv
影响因子：
--
作者：
Wojciech Zaremba;I. Sutskever;O. Vinyals
通讯作者：
Wojciech Zaremba;I. Sutskever;O. Vinyals
DOI：
--
发表时间：
2016-08
期刊：
ArXiv
影响因子：
--
作者：
Joachim Ott;Zhouhan Lin;Y. Zhang;Shih-Chii Liu;Yoshua Bengio
通讯作者：
Joachim Ott;Zhouhan Lin;Y. Zhang;Shih-Chii Liu;Yoshua Bengio
DOI：
10.1109/icassp.2016.7472821
发表时间：
2016-03
期刊：
2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)
影响因子：
--
作者：
Zhiyun Lu;Vikas Sindhwani;Tara N. Sainath
通讯作者：
Zhiyun Lu;Vikas Sindhwani;Tara N. Sainath
DOI：
10.4018/978-1-7998-1192-3.ch008
发表时间：
2020
期刊：
Advances in Systems Analysis, Software Engineering, and High Performance Computing
影响因子：
--
作者：
Menaga D.;R. S.
通讯作者：
Menaga D.;R. S.
DOI：
10.1145/3061639.3062259
发表时间：
2017-05
期刊：
2017 54th ACM/EDAC/IEEE Design Automation Conference (DAC)
影响因子：
--
作者：
Hokchhay Tann;S. Hashemi;Iris Bahar;S. Reda
通讯作者：
Hokchhay Tann;S. Hashemi;Iris Bahar;S. Reda