Acceleration framework for training deep learning by cooperative with algorithms and computer architectures

Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．本年度は，プルーニングと量子化に着目したDNNモデルの軽量化手法，またそれに並行して入力データの前処理の高速化を検討した．プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する技術である．また，量子化は，重みなどのパラメータをより低精度・低bitな数値型で保持することによるDNNモデルの軽量化技術である．本研究課題では，より効率的なプルーニングを実現するために，前年度に引き続き，周波数領域での特徴を活用した手法を検討した．また，量子化に関しては，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を実施した．この他，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．

Deep neural network（DNN）技術は，様々な研究領域や産業界における基盤技術として地位を確立しつつあり，社会的な期待も大きい．本研究課題では，DNNの学習過程の高速化を実現する基盤構築を目的とする．これを実現するために，計算量削減などのアルゴリズムの観点と専用演算器の有効活用などの計算機アーキテクチャの観点に着目し，それぞれの観点を協調させることによって高速化を実現し，体系立てた基盤を構築することを目指す．本年度は，プルーニングと量子化に着目したDNNモデルの軽量化手法，またそれに並行して入力データの前処理の高速化を検討した．プルーニングは，DNNの各レイヤが持つ重みを枝刈りすることで，DNNモデルの軽量化を実現する技術である．また，量子化は，重みなどのパラメータをより低精度・低bitな数値型で保持することによるDNNモデルの軽量化技術である．本研究課題では，より効率的なプルーニングを実現するために，前年度に引き続き，周波数領域での特徴を活用した手法を検討した．また，量子化に関しては，DNNモデルの持つ重みの分布に従い，適切な量子化を実現する手法に関する検討を実施した．この他，DNNの入力への前処理で使用されるような画像フィルタリング処理の高速化手法について検討した．