近似計算と自己組織化に基づく機械学習技術基盤の研究

点击翻译按钮获取中文摘要

今年度は複数のエッジ端末で高効率・高精度に深層学習の推論を行う手法に関する研究を行った。近年IoTデバイスの爆発的な普及や、第5世代移動通信システム(5G)による通信環境の改善により、エッジ環境において複数のデバイス間での連携が容易になり、連携を用いて単一のデバイスだけでは達成できないような高精度な推論を達成する研究が行われている。本研究では、既存研究で提案されている、あるエッジデバイスが取得した推論データを複数のデバイス上に配置されたモデルを用いて推論を行いそれらの推論結果を統合する、アンサンブル手法に基づく方法でシステム全体で推論精度を向上させるというシステムに着目した。既存研究におけるこのシステムでのモデルのアンサンブル方法は、各モデルからの出力を単純に平均、あるいはクラスごとに加重平均し、最大の値に該当するクラスを推論結果とする。これらの方法以外にも様々なアンサンブル方法が考えられるが、状況に応じてどのような方法を選択すべきか、という議論はこれまでになされていない。本研究では、このシステムのモデルのアンサンブル部分に関して、より高効率・高精度を達成するための改善策を検討した。既存の平均や加重平均の手法に加え、カスケード手法やTest Time Augmentation等の手法が、どのような状況において有効なのか検証し、またこれらの手法の改善策を検討した。本研究では、認識精度と計算量、およびレイテンシの観点から評価を行った。認識精度の評価には深層学習フレームワークPyTorchを用い、計算量、およびレイテンシは数値シミュレーションにより算出した。