权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

畳み込みニューラルネットワークのGPU上での学習時間の予測

预测卷积神经网络在 GPU 上的训练时间

基本信息

批准号：
21K11834
负责人：
BRYZGALOV PETR
金额：
$ 2.66万
依托单位：
Chiba Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (C)
财政年份：
2021
资助国家：
日本
起止时间：
2021-04-01 至 2024-03-31
项目状态：
已结题

项目摘要

1. CNN学習時間の予測に使う畳み込み層の時間を、より正確にベンチマークするため、畳み込み層の時間をベンチマークするプロクシアプリDNNMarkの修正・改良を行った。2. 予測モデルの精度と汎用性を高めるため、なるべく多くのCNNを学習に使うことが必要なので、CNNは昨年度に使った14種類から25種類まで増やし、PyTorchで実装されたCNNの学習時間を記録し、改良したプロクシアプリを使って畳み込み層の時間をベンチマークした。その際、科研費で購入したマシンとクラウド計算機を使い、合わせて5台のマシンで5種類のGPUを使用した。3. 一台のマシンにおいて未知のCNNの学習時間を予測するモデルを構築するためのアプローチを開発した。このアプローチで作成した予測モデルの特徴は、CPUの性能がボトルネックとなる小さなミニバッチサイズや、GPUの性能に依存する大きなミニバッチサイズを含む、幅広いミニバッチサイズにおいてCNNの学習時間を予測できるということである。4. 一部のマシンにおいて、CNNの学習時間を高精度で予測できるモデルを構築するための特徴量とハイパーパラメーターを見つけ、25種類のPyTorchで実装されたCNNを使って予測の評価を行った。十分な予測性能を得られたことが確認できた。5. 予測モデルの種類を深層ニューラルネットワークから学習の速いXGBoostに変えたため、予測モデルの構築が速くなった。

1. CNN learning time prediction, correction and improvement of DNNMark 2. The accuracy and versatility of prediction are high, and the number of CNN learning is necessary. CNN has increased 14 categories and 25 categories in the past year. PyTorch has installed CNN learning time to record, improve and improve the time of CNN learning. In addition, the research fee was paid for the purchase of five GPUs. 3. A network of unknown CNN learning time predictions The characteristics of this prediction model are: CPU performance, CPU performance, GPU performance, CPU performance 4. A part of the PyTorch, CNN learning time, high precision prediction, construction of features, 25 types of PyTorch, CNN prediction and evaluation. The performance of the test is very good. 5. The type of prediction is deep, the speed of learning is fast, and the speed of prediction is fast.