ディープニューラルネットワークモデルの高速化および省メモリ化

点击翻译按钮获取中文摘要

・前年度は深層学習モデルを各層での誤差が最小化されるように圧縮するための手法である，Reconstruction Error Aware Pruning（REAP）を提案した．当該年度は，これをさらに効果的に活用するために，モデルの最終層への影響を評価して各層の圧縮率を最適化するための手法であるPruning Ratio Optimizer（PRO）を，前年度から引き続き開発した．成果は論文誌へ発表済みである．・また，枝分かれ構造を持つResNetという深層学習モデルを効率的に圧縮するために，等価な直列構造に変換する手法の開発を，前年度に引き続き開発した．ResNetでは，枝分かれのある層において圧縮を行うことができないため，枝分かれがない層のみを集中的に圧縮する必要があった．これを直列化すると，モデルサイズは一旦は大きくなるが，全ての層でバランスよく圧縮を行えるようになる．そのため，結果的にはモデルの精度をより良く保ちつつ，そのサイズを小さくできるというものである．現在は，この手法により直列化されたモデルを上記のPROと組み合わせると，結果が不安定になるという問題が生じており，その原因究明と改善に取り組んでいる．・提案手法を使う際には，深層学習モデルのどの層を圧縮の対象とするかを指定する必要がある．その手間を省くために，モデルを入力として与えると圧縮対象となる層を自動的に判別するプログラムを開発した．現在，上記の提案手法群と併せ，対外発表の準備を進めている．