分散深層学習のI/O性能最適化と次世代の人工知能クラウドへ向けた展開

分布式深度学习I/O性能优化及下一代人工智能云部署

• 批准号: 18K11332
• 负责人: 佐藤 仁
• 金额: $ 2.75万
• 依托单位: National Institute of Advanced Industrial Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2018
• 资助国家: 日本
• 起止时间: 2018-04-01 至 2019-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18K11332/
• 关键词: 高性能計算; ビッグデータ; 人工知能; 分散深層学習; クラウドコンピューティング

スーパーコンピュータとクラウドが融合した大規模並列環境である人工知能クラウド上での最重要カーネルである分散深層学習 を対象に，1) 実環境での精緻な性能モデリングによる分散深層学習のI/Oワークロードの性能解析，2) 細粒度なアクセスパタ ーンに応じてI/O性能を最適化するためのメモリ・ストレージ階層の深化を考慮したデータのライフサイクル管理アルゴリズムの開発と分散I/Oフレームワークへの実装，3) 既存のデファクトな分散深層学習フレームワークへの分散I/Oフレームワークの 組み込み・統合化をコデザインすることで，次世代のAIクラウド上でのメモリ・ストレージI/Oの高速化のためのシステムソフ トウェアの要素技術の設計と開発を行い，更にその先のBig Data/AIのRebooting Computingのための要求要件の明確化や設計情報となるを目指す．本年度は、近い将来に登場すると見込まれる、次世代NVIDIA GPU、Intel Nervana，富士通DLUなどのアクセラレータ，ポスト「京」スパコンを目指したHPC向けのARMなどのプロセッサ，Intel Apache Pass技術による3D XPoint等の不揮発性メモリ，InfninibandやOmni-Pathなど高性能ネットワー クなど最先端のコモディティデバイスを想定してメモリ・ストレージへのI/Oに関する性能モデリングを行うための基礎の性能評価として、ImageNet1Kのオープンデータセットを対象にI/Oの高速化を行った。具体的には、パラメタ設定を行うことで分散処理を行い、各プロセスが担当するデータをDRAMメモリへのキャッシュ、及びネットワークI/Oを考慮した集団通信の最適化を行うことで、大幅な性能向上を達成することを産総研AI橋渡しクラウド（ABCI)上で確認し、基礎的な性能解析を行った。

1) Performance analysis of decentralized deep learning I/O networks in real-world environments. 2) Performance analysis of decentralized deep learning I/O networks in real-world environments. 2) Fine-grained I/O performance optimization, consideration of depth of hierarchy, management, development, and implementation of decentralized I/O, 3) Existing system, decentralized deep learning, and integration of decentralized I/O. The design and development of element technology for the next generation of AI technology, including the requirements for the rebooting of Big Data/AI, and the design information and instructions for the Rebooting of AI technology. This year, the next generation NVIDIA GPUs, Intel Nervana, Fujitsu DLU, and other non-volatile technologies will be introduced in the near future. Infniniband Omni-Path High Performance Development Goals Advanced I/O Development Goals Basic Performance Evaluation Goals ImageNet 1K Development Goals Speed I/O Specifically, with the implementation of RAID settings, decentralized processing, the cache of data in the DRAM memory for each device, and the optimization of group communications taking into account wireless I/O, significant performance improvements can be achieved. This is confirmed in the AI Bridge Overview (ABCI) and basic performance analysis.

项目成果

AI橋渡しクラウドABCIの性能評価

AI桥接云ABCI性能评估

• 发表时间: 2018
• 期刊: 研究報告ハイパフォーマンスコンピューティング（HPC）
• 作者: 佐藤仁;溝手 竜; 滝澤 真一朗
• 通讯作者: 滝澤 真一朗

ABCI: AI Bridging Cloud Infrastructure for Scalable AI/Big Data

ABCI：用于可扩展人工智能/大​​数据的人工智能桥接云基础设施

• 发表时间: 2018
• 作者: 植松隆史;張英夏;向井信彦;Hitoshi Sato
• 通讯作者: Hitoshi Sato

AI橋渡しクラウド（ABCI）における高性能計算とAI/ビッグデータ処理の融合

AI Bridging Cloud (ABCI) 中高性能计算与人工智能/大​​数据处理的融合

• 发表时间: 2018
• 作者: Kanon Mukai;Kazue Kudo;佐藤 仁
• 通讯作者: 佐藤 仁