環境適応型深層学習とそのアーキテクチャの研究

点击翻译按钮获取中文摘要

2022年度は，環境の変化や計算資源制約に基づき計算量を適応的に調整可能な推論アクセラレータであるPianissimoを40nmプロセスで作成し評価を行なった．Pianisssimoは，1）単一のNN重みで複数のビット幅表現を可能とするProgressiveNNと2）イベント駆動型センサからの情報をもとに，非動体領域の計算を削減するブロックスキップの２つのアルゴリズムをもとに，計算量・精度のトレードオフ調整を可能とする．ProgressiveNNについては，層レベル（混合精度），タスクレベルのビット幅調整（適応精度）の２つのトレードオフ調整戦略について評価を行った．Pianissimoでは，RISCとHWコントローラの協調制御により，これらの柔軟な制御を実現している．評価実験では，Pianissimoが他の超低電力DNNアクセラレータと比較して競争力のある性能（0.49~1.25 TOPS/W）を示しつつ，サブmWクラスの超低電力（793~1032 μW）が達成可能であることを確認した．超低電力実現には，3層のメモリ構造によるデータ再利用の最大化，クロックゲーティングによる全体電力消費の削減，ベースとなる２つのアルゴリズムが大きく寄与している．また，適応精度を用いることで1－4ビット幅において精度・計算量のトレードオフが確認でき，これら２つを組み合わせることで，平均ビット幅にビット程度で飽和モデルと同程度の精度が実現可能であることを確認した．また，ビット幅を狭めることで固定FPSでの電力消費を削減可能であることを示した．ブロックスキップについては，一般的な3×3畳み込み層に適用し，適用しなかった場合（3.0~1.8 TOPS/W）と比較して性能の大幅な改善（27.7~10.2 TOPS/W）を確認した．これらの結果はVLSI2023に採択され，6月に発表予定である．