Communication Design for Fast and Accurate Decentralized Machine Learning over Wireless Networks

点击翻译按钮获取中文摘要

分散機械学習の低遅延化に向けた学習・通信設計に従事した。具体的に、空中計算を用いた分散ガウス過程回帰の低遅延化手法を提案した。分散ガウス過程回帰は、学習用データを複数端末上で分割処理することで、その演算量の大幅な削減を実現する方式である。低演算量である一方、通信コストが端末台数に依存するという問題があった。Product of Expertsに基づく分散ガウス過程回帰における計算結果が各端末の計算結果の和で表現出来る点に着目した空中計算の設計を行ない、通信コストが端末台数に依存しない分散ガウス過程回帰の確立に成功した。無線通信における回帰タスクの1つである電波マップ構築における空間内挿を対象に、本方式の精度を評価した。計算機シミュレーションにより、チャネル状態情報の内容や端末台数に応じてAirCompを伴わない分散ガウス過程回帰と比較して二乗平均平方根誤差 (RMSE: Root Mean Squared Error)特性が劣化するものの、長区間変動特性を正確に推定出来る場合と比較して十分高精度に内挿が実施できることを確認した。また、分散機械学習システムテストベッドのdocker実装を行った。学習機能をPythonおよびPyTorchにより記述可能である他、コンテナオーケストレーションによりネットワーク上の複数のLinux端末を連携できる。5台のNVIDIA Jetson Nanoを用いた実験により、画像分類タスクにおいて単一計算機上での計算機シミュレーション結果と同程度の学習精度が得られることを確認した。端末の変更や増量が簡易であり、今後の実機実験で活用する予定である。以上の取り組みに関する成果は、IEICE情報理論研究会およびスマート無線研究会にて招待講演の形で発表し、関連分野の研究者らへ広くアピールした。