大規模ＡＩ学習向け高速推論学習と省電力を両立する深層学習プロセッサのコデザイン

本研究の目的は、アルゴリズムとハードウェアの両面から、システム全体の効率化・省電力化を図り、既存技術と比較してコスト対電力性能比2桁改善を実現する大規模深層学習に向けた高速かつ高効率な深層学習プロセッサを開発することである。本年度は、H29年度に開発したパイプライン並列型深層学習アルゴリズムで未解決となっていた、パイプライン学習実行時の認識精度向上を目指した最適関数の再設計及び、パイプライン深層学習メモリ転送量と通信レイテンシを2桁向上する、低電力メモリアーキテクチャの提案を行った。具体的には、パイプライン実行時の重み係数更新量の誤差を補完する適応型最適化関数の設計に取り組むと共に、各レイヤにおけるプロセッサ内部の演算コプロセッサとメモリ分割アーキテクチャの設計、畳み込み層・バッチ正規化層における高効率なMAC演算手法の設計に加え、プロセッサ間の外部通信のためのデータバス分割アーキテクチャの検討、外部データバスのデータフロー片方向制御によるメモリバンド幅削減手法の開発に取り組んだ。さらに、プロセッサ内の高速キャッシュメモリ(SRAM)の低消費電力化手法及び提案アーキテクチャをLSI上に実装し、その電力性能検証を行った。これらの成果は、国内及び国際学会に採択されているとともに、IEEEにおけるトップ学術論文誌に採録されている。今後、コプロセッサと申請者の開発したモデル並列アルゴリズム、メモリ分散アーキテクチャを統合し、FPGA上に深層学習プロセッサを実現することで、実際のレイヤ処理時間、メモリアクセス数、外部通信バンド幅や外部転送データ容量等の検証が必要となる。

本研究の目的は、アルゴリズムとハードウェアの両面から、システム全体の効率化・省電力化を図り、既存技術と比較してコスト対電力性能比2桁改善を実現する大規模深層学習に向けた高速かつ高効率な深層学習プロセッサを開発することである。本年度は、H29年度に開発したパイプライン並列型深層学習アルゴリズムで未解決となっていた、パイプライン学習実行時の認識精度向上を目指した最適関数の再設計及び、パイプライン深層学習メモリ転送量と通信レイテンシを2桁向上する、低電力メモリアーキテクチャの提案を行った。具体的には、パイプライン実行時の重み係数更新量の誤差を補完する適応型最適化関数の設計に取り組むと共に、各レイヤにおけるプロセッサ内部の演算コプロセッサとメモリ分割アーキテクチャの設計、畳み込み層・バッチ正規化層における高効率なMAC演算手法の設計に加え、プロセッサ間の外部通信のためのデータバス分割アーキテクチャの検討、外部データバスのデータフロー片方向制御によるメモリバンド幅削減手法の開発に取り組んだ。さらに、プロセッサ内の高速キャッシュメモリ(SRAM)の低消費電力化手法及び提案アーキテクチャをLSI上に実装し、その電力性能検証を行った。これらの成果は、国内及び国際学会に採択されているとともに、IEEEにおけるトップ学術論文誌に採録されている。今後、コプロセッサと申請者の開発したモデル並列アルゴリズム、メモリ分散アーキテクチャを統合し、FPGA上に深層学習プロセッサを実現することで、実際のレイヤ処理時間、メモリアクセス数、外部通信バンド幅や外部転送データ容量等の検証が必要となる。