畳み込みニューラルネットワークのGPU上での学習時間の予測

点击翻译按钮获取中文摘要

1. CNN学習時間の予測に使う畳み込み層の時間を、より正確にベンチマークするため、畳み込み層の時間をベンチマークするプロクシアプリDNNMarkの修正・改良を行った。2. 予測モデルの精度と汎用性を高めるため、なるべく多くのCNNを学習に使うことが必要なので、CNNは昨年度に使った14種類から25種類まで増やし、PyTorchで実装されたCNNの学習時間を記録し、改良したプロクシアプリを使って畳み込み層の時間をベンチマークした。その際、科研費で購入したマシンとクラウド計算機を使い、合わせて5台のマシンで5種類のGPUを使用した。3. 一台のマシンにおいて未知のCNNの学習時間を予測するモデルを構築するためのアプローチを開発した。このアプローチで作成した予測モデルの特徴は、CPUの性能がボトルネックとなる小さなミニバッチサイズや、GPUの性能に依存する大きなミニバッチサイズを含む、幅広いミニバッチサイズにおいてCNNの学習時間を予測できるということである。4. 一部のマシンにおいて、CNNの学習時間を高精度で予測できるモデルを構築するための特徴量とハイパーパラメーターを見つけ、25種類のPyTorchで実装されたCNNを使って予測の評価を行った。十分な予測性能を得られたことが確認できた。5. 予測モデルの種類を深層ニューラルネットワークから学習の速いXGBoostに変えたため、予測モデルの構築が速くなった。