大規模分散深層学習をIn-Network Computingで加速する相互結合網

点击翻译按钮获取中文摘要

ビッグデータに対する大規模深層学習を行う場合、多数のプロセッサを同時並列に使用してデータの特徴量を抽出する必要がある。この問題の解決策として有力視されているのが、DSA（Domain Specific Architecture）と呼ばれる専用プロセッサをデータセンタ内に数十万ノードの規模で配置し、分散学習を行うシステムである。 しかし、ディープラーニングにおける順伝播や逆伝播の際、DSA間で特徴量や勾配を交換する通信が高遅延・高頻度となり、性能のボトルネックとなる。高帯域幅と拡張性を重視する従来のデータセンタ・ネットワークでは、こうした勾配交換のための通信の高速化は困難である。そこで本研究では、ネットワーク上の中間スイッチに特徴や勾配を集約して中間処理するIn-Network Computingを活用し、通信の低遅延性と高帯域性を両立するための技術開発に取り組んでいる。第三年度である2022年度において研究代表者は、(1) ドメイン固有アプリケーションの性能向上のためのルーティング手法の改良、(2) ニューラルネットワークの接続構造最適化、の2点に取り組んだ。(1) について、実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法の実用化を行った。また、(2) について、推論の高性能化と必要計算資源量の削減を両立可能な、ニューラルネットワークの接続構造の最適化手法を開発した。