An SRAM Computing in Memory to Exploit Energy Efficient Dimensional Separable Compact Machine Learning Model

点击翻译按钮获取中文摘要

本研究は機械学習用のComputing in Memory (CIM)の構造と省電力化を狙った先端の機械学習モデルとの整合を狙う。1x1ビット演算対応CIMを開発しスパース領域を「動作停止/電源遮断につなげる」。又、残ったスパース領域は「多値表現に適応的に活用し2値化による精度劣化を補償する」等、精度と電力削減のトレードオフの問題を解決することを狙う。当年度は先端のモデルトレンドであるアテンション機構への適用を狙い、1年目に基礎検討しResNet型ネットワーク層実装用の階層化ビット線の設計と制御回路アーキテクチャのアテンション機構への有効性を検証した。表現力とパラメータ数の削減に効果的なチャネルと空間方向のアテンションブロックの検証に集中した。ResNet18ネットワークに加えてチャネルアテンションブロックを追加したSE-ResNET18ネットワークをCifar10のデータセットで学習した場合のスパースア化の状態をSEブロック無しの場合と比較した。アテンション値をバイナリー化した場合の精度への影響を調査した。その結果、アテンション値が0になる特徴マップのチャネルと空間はスパース化してもインファレンスの精度への影響は小さく、1年目に検討した結果よりもさらにスパース化できる領域は広がる可能性が明らかになった。そのため、スパース化による電源遮断可能領域と物理的な回路の電源の階層化の関係は、アテンションモデルを適用した場合でも問題なく、むしろ改善する方向であることが確認できた。その結果を基に、1年目に基礎検討したビット線や読み出し回路の階層化のパターンを何種類か用意すれば、スパース化を活かした電源遮断が可能なことが確認できた。現在の方法を継続しデータを増やしていけば当初の計画通り、次元削減することを実現するために必要な1x1畳込みを階層化で実現するCIM設計が可能なことがわかった。