深層学習用ハードウェアアクセラレータに関する研究

深層学習は実用的な画像・音声認識において極めて高い性能を示し、世界的にニューラルネットの第三次ブームを引き起こしている。深層学習は予測・分類の非常に高い性能を示すが、計算量が膨大なため、実用的に応用・発展を遂げていくために、高効率(=電力/時間)なハードウェアシステムの構築が求められている。本研究では、ハードウェアに親和性を持たせたアルゴリズムを考案・評価し、シミュレーションレベルで精度誤差を1%未満で抑える低消費電力な計算機アーキテクチャを提案する。平成３１年度では、深層学習用ハードウェアアクセラレータチップの調査と実験を行った。計算回路規模を見積もり、その計算回数を減らすための新しい深層ニューラルネットワーク(DNN: Deep Neural Network)モデルを提案した。DNN計算は、DNNの最小演算単位であるシナプス計算を、並列に大量に行う。これらは、単純な積和演算の繰り返しであるため、これらの計算を少ないメモリアクセスで、他並列に行うことが、効率的なハードウェア設計の肝となる。しかし、これらは学習済みのモデルが定義されると、決められた仕様の下で、ハードウェア設計者が最適設計を行う必要があった。本研究では、モデル設計自体もハードウェア設計者が仕様を決められるような新しい機構を提案した。少ないオーバーヘッドの予測器を用いて、動的に本流のDNN計算をスキップする機構である。これは、計算規模と精度を、学習済みモデルに対して、後から調整することが可能となる。平成３１年度では、これをベースとした、実回路上での回路規模・電力の評価を行った。

深層学習は実用的な画像・音声認識において極めて高い性能を示し、世界的にニューラルネットの第三次ブームを引き起こしている。深層学習は予測・分類の非常に高い性能を示すが、計算量が膨大なため、実用的に応用・発展を遂げていくために、高効率(=電力/時間)なハードウェアシステムの構築が求められている。本研究では、ハードウェアに親和性を持たせたアルゴリズムを考案・評価し、シミュレーションレベルで精度誤差を1%未満で抑える低消費電力な計算機アーキテクチャを提案する。平成３１年度では、深層学習用ハードウェアアクセラレータチップの調査と実験を行った。計算回路規模を見積もり、その計算回数を減らすための新しい深層ニューラルネットワーク(DNN: Deep Neural Network)モデルを提案した。DNN計算は、DNNの最小演算単位であるシナプス計算を、並列に大量に行う。これらは、単純な積和演算の繰り返しであるため、これらの計算を少ないメモリアクセスで、他並列に行うことが、効率的なハードウェア設計の肝となる。しかし、これらは学習済みのモデルが定義されると、決められた仕様の下で、ハードウェア設計者が最適設計を行う必要があった。本研究では、モデル設計自体もハードウェア設計者が仕様を決められるような新しい機構を提案した。少ないオーバーヘッドの予測器を用いて、動的に本流のDNN計算をスキップする機構である。これは、計算規模と精度を、学習済みモデルに対して、後から調整することが可能となる。平成３１年度では、これをベースとした、実回路上での回路規模・電力の評価を行った。