权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

ディープニューラルネットワークモデルの高速化および省メモリ化

加速并节省深度神经网络模型的内存

基本信息

批准号：
20J15177
负责人：
菅間幸司
金额：
$ 1.09万
依托单位：
Wakayama University
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2020
资助国家：
日本
起止时间：
2020-04-24 至 2022-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20J15177/
关键词：
DNNモデル圧縮プルーニング NU REAP PRO SRN

项目摘要

・前年度は深層学習モデルを各層での誤差が最小化されるように圧縮するための手法である，Reconstruction Error Aware Pruning（REAP）を提案した．当該年度は，これをさらに効果的に活用するために，モデルの最終層への影響を評価して各層の圧縮率を最適化するための手法であるPruning Ratio Optimizer（PRO）を，前年度から引き続き開発した．成果は論文誌へ発表済みである．・また，枝分かれ構造を持つResNetという深層学習モデルを効率的に圧縮するために，等価な直列構造に変換する手法の開発を，前年度に引き続き開発した．ResNetでは，枝分かれのある層において圧縮を行うことができないため，枝分かれがない層のみを集中的に圧縮する必要があった．これを直列化すると，モデルサイズは一旦は大きくなるが，全ての層でバランスよく圧縮を行えるようになる．そのため，結果的にはモデルの精度をより良く保ちつつ，そのサイズを小さくできるというものである．現在は，この手法により直列化されたモデルを上記のPROと組み合わせると，結果が不安定になるという問題が生じており，その原因究明と改善に取り組んでいる．・提案手法を使う際には，深層学習モデルのどの層を圧縮の対象とするかを指定する必要がある．その手間を省くために，モデルを入力として与えると圧縮対象となる層を自動的に判別するプログラムを開発した．現在，上記の提案手法群と併せ，対外発表の準備を進めている．

·Previous year: Reconstruction Error Aware Pruning (REAP) When the year is over, the impact of the final layer is evaluated and the compression ratio of each layer is optimized. The method of Pruning Ratio Optimizer (PRO) is developed from the previous year. The results of the paper are presented in the form of a series of papers. ResNet is divided into two parts: the first part is divided into two parts: the second part is divided into three parts: the third part is divided into three parts: the fourth part is divided into four parts: the fourth part is divided into four parts All layers of material are compressed.そのため，结果的にはモデルの精度をより良く保ちつつ，そのサイズを小さくできるというものである. Now, this method is in-line, and the PRO and group are recorded on the record. As a result, the problem of instability is generated, and the cause is clarified. The method of proposal is to reduce the pressure of the object and to make it necessary. For example, if you want to use a computer, you can use it to make sure that you have a computer. Now, remember the proposal method group and the preparation for the external presentation.