Adaptive Deep Reuse: Accelerating CNN Training on the Fly
Adaptive Deep Reuse: Accelerating CNN Training on the Fly
复制标题
DOI：
10.1109/icde.2019.00138
复制
发表时间：
2019-04
期刊：
影响因子：
--
通讯作者：
Lin Ning;Hui Guan;Xipeng Shen
中科院分区：
文献类型：
--
作者：
Lin Ning;Hui Guan;Xipeng Shen
这项工作提出了自适应深度重用，这是一种通过识别和避免每个特定训练中包含的不必要计算来加速 CNN 训练的方法。它做出了双重主要贡献。 (1)实证证明了CNN的前向和后向传播中神经元向量之间存在大量相似性。 (2) 引入了第一个自适应策略，将相似性转化为 CNN 训练中的计算重用。该策略根据不同CNN训练阶段对精度松弛的不同容忍度，自适应调整重用强度。实验表明，自适应深度重用可以节省 69% 的 CNN 训练时间，并且没有精度损失。
This work proposes adaptive deep reuse, a method for accelerating CNN training by identifying and avoiding the unnecessary computations contained in each specific training on the fly. It makes two-fold major contributions. (1) It empirically proves the existence of a lot of similarities among neuron vectors in both forward and backward propagation of CNN. (2) It introduces the first adaptive strategy for translating the similarities into computation reuse in CNN training. The strategy adaptively adjusts the strength of reuse based on the different tolerance of precision relaxation in different CNN training stages. Experiments show that adaptive deep reuse saves 69% CNN training time with no accuracy loss.