A study on a high efficiency training architecture for an edge-AI device

边缘AI设备高效训练架构研究

• 批准号: 21J11958
• 负责人: 金子 竜也
• 金额: $ 1.09万
• 依托单位: Hokkaido University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-04-28 至 2023-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21J11958/
• 关键词: 機械学習; エッジAI; オンライン学習; 誤差逆伝播法; 最適化手法; FPGA; ソフトウェア/ハードウェア協調設計; 低電力

AIの演算処理は「推論処理」と「学習処理」に大別でき，AIの恩恵を得るためにはどちらの処理も必須である．そのうち，主に積和演算等から成り立つ推論処理については多くのエッジAIソリューションが存在する．一方，エッジでの学習処理については，未だ汎用プロセッサを中心としたソフトウェア的な手法に留まっており，消費電力や演算リソース等の学習処理のコストは極めて高い．そこで本研究は，電力やハードウェア資源が制限されるエッジデバイスにおいて，学習処理を可能とする新規アルゴリズムとそれらを実装するアーキテクチャの構築を目的とした．その一つとして，アナログ回路を導入した「コンピューティングインメモリ（Computing in Memory: CIM）デバイス」のための誤差逆伝播法，およびCIMデバイスを用いて学習処理を行うアーキテクチャの構築を行った．従来のノイマン型アーキテクチャの問題解消に向けた取り組みとして多量のデータ（パラメータ）を保存しているメモリ上で積和演算を行うCIMアーキテクチャが注目されている．本研究では，「ReRAMを用いたCIM AIデバイス」上に学習機能を実現するための新規アルゴリズムの開発を行った．多くのCIM AIデバイスの抱える問題に対処するためディジタル誤差逆伝播法（Digital BP）に着目し，その弱点（性能低下）を補うニューラルネットワークの構造を新たに考案しその性能を示した．当該年度は，査読付き論文誌への投稿とその査読結果を踏まえて電力に関する追加評価を行い，学習部における演算コアの消費電力を10 mW以下にできることを示した．また，同等のアーキテクチャ構造（CIMデバイスを外部メモリとして扱い，学習を専用回路で行う）を持つ他の研究と比較し，その優位性を議論した．上記結果をまとめたものを現在論文誌へと投稿中である．

処 AI の calculus 処 Richard は "inference" と 処 "learning" に comparing で き, AI の grace travelling を have る た め に は ど ち ら の 処 must manage も で あ る. そ の う ち, Lord に product and calculus か ら made into り 処 つ inference principle に つ い て は more く の エ ッ ジ AI ソ リ ュ ー シ ョ ン が exist す る. Study, エ ッ ジ で の 処 Richard に つ い て は, not だ domestic プ ロ セ ッ サ を center と し た ソ フ ト ウ ェ ア な gimmick に leave ま っ て お り, consumption power や calculus リ ソ ー ス 処 の learning such as Richard の コ ス ト は extremely め て い high. そ こ で は, this study power や ハ ー ド ウ ェ ア resource limitations が さ れ る エ ッ ジ デ バ イ ス に お い て, learning 処 Richard を may と す る new rules ア ル ゴ リ ズ ム と そ れ ら を be loaded す る ア ー キ テ ク チ ャ の build を purpose と し た. そ の a つ と し て, ア ナ ロ グ loop を import し た "コ ン ピ ュ ー テ ィ ン グ イ ン メ モ リ (Computing in Memory: CIM) デ バ イ ス" の た め の error inverse 伝 sowing method, お よ び CIM デ バ イ ス を with い て learning 処 Richard を line う ア ー キ テ ク チ ャ の line build を っ た. Type 従 to の ノ イ マ ン ア ー キ テ ク チ ャ の に elimination solution to け た group take り み と し て in great measure の デ ー タ (パ ラ メ ー タ) を save し て い る メ モ リ で on product line and calculus を う CIM ア ー キ テ ク チ ャ が attention さ れ て い る. , this study で は "ReRAM を with い た CIM AI デ バ イ ス" を に on learning function be presently す る た め の new rules ア ル ゴ リ ズ ム の open 発 を line っ た. More く の CIM AI デ バ イ ス の embrace え る problem に 処 seaborne す る た め デ ィ ジ タ ル error inverse 伝 seeding method (BP) Digital に mesh し, そ の weaknesses (poor performance) fill を う ニ ュ ー ラ ル ネ ッ ト ワ ー ク の tectonic を new た に test case し そ の performance を shown し た. When the annual は, check 読 pay き paper tzu へ contribute の と そ の check tread 読 results を ま え て power に masato す る additional review 価 を い, learning department に お け る calculus コ ア の consumption power を under 10 mW に で き る こ と を shown し た. ま た, equally の ア ー キ テ ク チ ャ structure (CIM デ バ イ ス を external メ モ リ と し て Cha い, learning を 専 loop line で う) research of を hold つ he の と し, そ の primacy を comment し た. The results of the above notes をまとめた をまとめた を を are now in the journal of papers へと for submission である.

项目成果

エッジAIのオンライン学習に向けた学習アルゴリズムの軽量化

边缘AI在线学习的轻量级学习算法

• 发表时间: 2023
• 作者: 金子 竜也;百瀬 啓;浅井 哲也
• 通讯作者: 浅井 哲也

最適化装置及び最適化方法並びに最適化用プログラム

优化装置、优化方法及优化程序

• 发表时间: 2022

エッジAIのオンライン学習に向けたハードウェア指向対数量子化オプティマイザの提案

针对边缘人工智能在线学习的面向硬件的对数量化优化器的提案

• 发表时间: 2022
• 作者: 金子 竜也;山岸 善治;百瀬 啓;浅井 哲也
• 通讯作者: 浅井 哲也

不揮発アナログAIデバイス（RAND）のオンライン学習制御システム実装とその評価

非易失性模拟AI器件（RAND）在线学习控制系统的实现与评估

• 发表时间: 2021
• 作者: 金子 竜也;山岸 善治;百瀬 啓;浅井 哲也
• 通讯作者: 浅井 哲也

Hardware-oriented deep reinforcement learning for edge computing

用于边缘计算的面向硬件的深度强化学习

• DOI: 10.1587/nolta.12.526
• 发表时间: 2021
• 期刊: Nonlinear Theory and Its Applications, IEICE
• 作者: Yamagishi Yoshiharu;Kaneko Tatsuya;Akai-Kasaya Megumi;Asai Tetsuya
• 通讯作者: Asai Tetsuya