大規模分散深層学習をIn-Network Computingで加速する相互結合網

通过网内计算加速大规模分布式深度学习的互连接网络

• 批准号: 20K19788
• 负责人: 河野 隆太
• 金额: $ 2.66万
• 依托单位: National Institute of Informatics (2021-2022)Japan Advanced Institute of Science and Technology (2020)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2020
• 资助国家: 日本
• 起止时间: 2020-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-20K19788/
• 关键词: 相互結合網; 大規模分散深層学習; ビッグデータ; In-Network Computing; データセンタ

ビッグデータに対する大規模深層学習を行う場合、多数のプロセッサを同時並列に使用してデータの特徴量を抽出する必要がある。この問題の解決策として有力視されているのが、DSA（Domain Specific Architecture）と呼ばれる専用プロセッサをデータセンタ内に数十万ノードの規模で配置し、分散学習を行うシステムである。 しかし、ディープラーニングにおける順伝播や逆伝播の際、DSA間で特徴量や勾配を交換する通信が高遅延・高頻度となり、性能のボトルネックとなる。高帯域幅と拡張性を重視する従来のデータセンタ・ネットワークでは、こうした勾配交換のための通信の高速化は困難である。そこで本研究では、ネットワーク上の中間スイッチに特徴や勾配を集約して中間処理するIn-Network Computingを活用し、通信の低遅延性と高帯域性を両立するための技術開発に取り組んでいる。第三年度である2022年度において研究代表者は、(1) ドメイン固有アプリケーションの性能向上のためのルーティング手法の改良、(2) ニューラルネットワークの接続構造最適化、の2点に取り組んだ。(1) について、実行アプリケーションに対して通信性能を最適化可能なルーティングの動的再構成手法の実用化を行った。また、(2) について、推論の高性能化と必要計算資源量の削減を両立可能な、ニューラルネットワークの接続構造の最適化手法を開発した。

For large-scale deep learning, it is necessary to extract the characteristics of most of the applications simultaneously. The solution to this problem is to provide a powerful vision, DSA (Domain Specific Architecture), and a distributed learning system. The communication between DSA and DSA has high latency, high frequency, and high performance. High bandwidth, high tension, high bandwidth, high In this paper, we study the technology development of In-Network Computing, communication with low ductility and high bandwidth. In the third year of 2022, the research representatives were: (1) improvement of the inherent performance of the equipment,(2) optimization of the joint structure, and (3) selection of the components. (1)The implementation of reconfiguration techniques for optimizing communication performance is possible in the context of implementation and implementation. (2) To improve the performance of inference and reduce the amount of necessary computing resources, and to develop an optimization method for the connection structure of computer network.

项目成果

任意トポロジに対する仮想チャネルを用いない低遅延なデッドロックフリー・ルーティング

低延迟、无死锁路由，无需任意拓扑的虚拟通道

• 发表时间: 2021
• 作者: 土田理人;酒井和哉;河野 隆太
• 通讯作者: 河野 隆太

低直径ネットワーク・トポロジのための適応型デッドロックフリー・ルーティング

适用于小直径网络拓扑的自适应无死锁路由

• 发表时间: 2022
• 作者: 平山孝弘;地引昌弘;ベド カフレ;河野 隆太
• 通讯作者: 河野 隆太

画像認識のための Optimally Wired Neural Networks

用于图像识别的最佳连线神经网络

• 发表时间: 2022
• 作者: Z. Liu;M. Yoshida;K. Mihara;T. Ikebe;S. Oishi and A. Nakao;河野 隆太
• 通讯作者: 河野 隆太

Dynamic Routing Reconfiguration for Low-Latency and Deadlock-Free Interconnection Networks

• DOI: 10.1109/candar57322.2022.00023
• 发表时间: 2022-11
• 期刊: 2022 Tenth International Symposium on Computing and Networking (CANDAR)
• 作者: Ryuta Kawano;Hiroki Matsutani;M. Koibuchi;H. Amano

ルーティングの動的再構成によるネットワークのデッドロックフリー性・低遅延性の両立

通过动态路由重配置实现无死锁和低延迟网络

• 发表时间: 2021
• 作者: M. Yoshida;K. Mori;T. Inoue;H. Tanaka;河野 隆太
• 通讯作者: 河野 隆太