权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

深層学習の精度を考慮した自動性能最適化フレームワークの構築

考虑深度学习精度的自动性能优化框架构建

基本信息

批准号：
18J22858
负责人：
大山洋介
金额：
$ 1.41万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2018
资助国家：
日本
起止时间：
2018-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-18J22858/
关键词：
深層学習

项目摘要

前年度の米国LLNLの研究グループとの共同研究を1)複数モデルを用いた性能評価，2)先行研究との性能比較，3)性能モデルを用いた最適な並列化戦略の予測について発展させた． 1)については前年度に使用したCosmoFlowネットワークの他にセグメンテーションに用いられる3D U-Netを用いて性能評価を行い，どちらのモデルについてもLassenスパコンのほぼ全系である2048 GPU程度までスケールできることを明らかにした．2)については提案手法と同様のハイブリッド並列実装の性能を比較し，提案手法のフレームワークレベルでの並列化が通信時間の隠蔽に大きく寄与していることを示した．3)については富岳スパコンのような超大規模並列環境を想定し，前年度までに行った一次元分割手法の性能モデリングを発展させて多次元方向に分割した場合の性能予測を行った結果，ハイブリッド並列学習ではプロセッサあたりのバッチサイズが小さいためにシンプルな一次元分割でも非常に効果的に並列化できることが判明した．これらの結果により大規模並列環境における深層学習アプリのスケーラビリティの維持について展望を示した．この研究成果はIEEE TPDSジャーナルに投稿し採択された．また，前年度までの研究成果をまとめて博士論文として執筆した．論文では畳み込みニューラルネットワークのGPU内・GPU間の並列性を性能モデリングにより最適化し，与えられたモデルに対して最適な並列化手法・計算アルゴリズムを提供する手法を提案した．これにより，まったく未知のモデルに対してもユーザが手動でチューニングを行うことなく最適な計算手法を予測することを可能とした．また，推論精度に関しては，各計算カーネルのチューニングや同並列数あたりのミニバッチサイズを大幅に下げるハイブリッド並列化を採用することでリスクなく学習の高速化を行う手法を提案した．

The previous year's LLNL research group included joint research: 1) performance evaluation of multiple applications; 2) performance comparison of pilot studies; 3) performance evaluation of optimal applications; and prediction and development of parallel strategies. 1) To evaluate the performance of 3D U-Net used in the previous year when using CosmoFlow Internet and other services, we will use the 2048 GPU level in the entire Lassen Spark system to make it possible for all mobile devices to use the same 2048 GPU level. 2) To compare the performance of parallel installations with the same proposal method, 3) The performance prediction results of the performance prediction for the case of multi-dimensional segmentation in the previous year were obtained by considering the ultra-large-scale parallel environment in which the communication time was covered. The first step is to divide the data into two parts. As a result of this, large-scale parallel environment is a deep learning environment. The research results were submitted to IEEE TPDS. The research results of the previous year were written. This paper proposes a method to optimize the parallelism between GPUs and GPUs, and to optimize the parallelism between GPUs and GPUs. The best way to calculate is to predict. The accuracy of inference is related to the number of parallels in each calculation category.

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

The Case for Strong Scaling in Deep Learning: Training Large 3D CNNs With Hybrid Parallelism

DOI：
10.1109/tpds.2020.3047974
发表时间：
2020-07
期刊：
IEEE Transactions on Parallel and Distributed Systems
影响因子：
5.3
作者：
Yosuke Oyama;N. Maruyama;Nikoli Dryden;Erin McCarthy;P. Harrington;J. Balewski;S. Matsuoka;Peter Nug
通讯作者：
Yosuke Oyama;N. Maruyama;Nikoli Dryden;Erin McCarthy;P. Harrington;J. Balewski;S. Matsuoka;Peter Nug

Yosuke Oyama

小山洋介

DOI：
发表时间：
期刊：
影响因子：
0
作者：
通讯作者：

μ-cuDNN: Accelerating Deep Learning Frameworks with Micro-Batching

DOI：
发表时间：
2018-04
期刊：
ArXiv
影响因子：
0
作者：
Yosuke Oyama;Tal Ben-Nun;T. Hoefler;S. Matsuoka
通讯作者：
Yosuke Oyama;Tal Ben-Nun;T. Hoefler;S. Matsuoka

Toward Training a Large 3D Cosmological CNN with Hybrid Parallelization

使用混合并行化训练大型 3D 宇宙学 CNN

DOI：
发表时间：
2019
期刊：
影响因子：
0
作者：
Yosuke Oyama;Naoya Maruyama;Nikoli Dryden;Peter Harrington;Jan Balewski;Satoshi Matsuoka;Marc Snir;Peter Nugent;Brian Van Essen
通讯作者：
Brian Van Essen

深層学習におけるBatchNormalization使用時の計算時間と精度の関係性

深度学习中使用 BatchNormalization 时计算时间与精度的关系