A study of server management technology for sustaining a large scale distributed neural network

点击翻译按钮获取中文摘要

本年度の研究実績は以下の2つである。1. 大規模連合学習を実現する構造化オーバレイネットワーク技術の開発連合学習と呼ばれる手法では、ニューラルネットワークを個々の計算機に分配し、学習させ、そのモデルを統合する。これまでの研究では、統合時のデータ通信量削減やニューラルネットワークの選別方法に焦点が当てられており、連合学習自体を実現する基盤についての検討が十分に進められていなかった。今年度の研究では、複数の計算機が連携してニューラルネットワークの統合を円滑に実現する分散計算基盤技術を開発し、連合学習の学習効率を向上できることを確認した。本内容については現在IEEEの著名会議への投稿準備を行っている。2. 計算機の地理位置情報を考慮した大規模ニューラルネットワークの分割学習技術の開発各計算機に分割されたニューラルネットワークを割り当て、大規模なニューラルネットワークを実現する場合、分割されたニューラルネットワーク同士の因果関係を考慮した最適な分割が必要である。特に、ニューラルネットワーク上で隣接する層間の通信が頻繁に発生するため、地理的に近い計算機への割り当てが重要である。本年度の研究成果では、Content-Addressable Network（CAN）を用いて、各計算機を緯度・経度順に高速に配置する技術を開発した。この技術では、緯度・経度が類似する計算機間でニューラルネットワークの隣接する層を配置する。本研究についても、国内外の学会への投稿準備を進めている。