深層学習の精度を考慮した自動性能最適化フレームワークの構築

点击翻译按钮获取中文摘要

前年度の米国LLNLの研究グループとの共同研究を1)複数モデルを用いた性能評価，2)先行研究との性能比較，3)性能モデルを用いた最適な並列化戦略の予測について発展させた． 1)については前年度に使用したCosmoFlowネットワークの他にセグメンテーションに用いられる3D U-Netを用いて性能評価を行い，どちらのモデルについてもLassenスパコンのほぼ全系である2048 GPU程度までスケールできることを明らかにした．2)については提案手法と同様のハイブリッド並列実装の性能を比較し，提案手法のフレームワークレベルでの並列化が通信時間の隠蔽に大きく寄与していることを示した．3)については富岳スパコンのような超大規模並列環境を想定し，前年度までに行った一次元分割手法の性能モデリングを発展させて多次元方向に分割した場合の性能予測を行った結果，ハイブリッド並列学習ではプロセッサあたりのバッチサイズが小さいためにシンプルな一次元分割でも非常に効果的に並列化できることが判明した．これらの結果により大規模並列環境における深層学習アプリのスケーラビリティの維持について展望を示した．この研究成果はIEEE TPDSジャーナルに投稿し採択された．また，前年度までの研究成果をまとめて博士論文として執筆した．論文では畳み込みニューラルネットワークのGPU内・GPU間の並列性を性能モデリングにより最適化し，与えられたモデルに対して最適な並列化手法・計算アルゴリズムを提供する手法を提案した．これにより，まったく未知のモデルに対してもユーザが手動でチューニングを行うことなく最適な計算手法を予測することを可能とした．また，推論精度に関しては，各計算カーネルのチューニングや同並列数あたりのミニバッチサイズを大幅に下げるハイブリッド並列化を採用することでリスクなく学習の高速化を行う手法を提案した．