ベイズ的大規模深層学習のための自然勾配近似法

本研究の一年目に取り組んだ、「自然勾配法による大規模 DNN 学習の高速化」の研究成果を発展させた。まず始めに、自然勾配法で計算のボトルネックとなっていた、フィッシャー情報行列及びその逆行列の計算コストを軽減させる研究に取り組んだ。フィッシャー情報行列の性質を利用し、本研究では、フィッシャー情報行列及びその逆行列の計算頻度を自動調整する手法を提案した。学習に必要になる計算時間を約50%にまで削減することに成功した。この研究成果は機械学習分野最難関のジャーナルである IEEE TPAMI に採択された。次に、大規模計算機上における自然勾配法に伴う計算時間の詳細な解析とその計算パフォーマンスの最適化を行った。具体的には、フィッシャー情報行列の逆行列計算の分散化、フィッシャー情報 行列の対称性を利用した計算の高速化、低精度演算による行列計算の高速化、計算と通信のオーバーラップによる通信コストの隠蔽、などの最適化を行った。大規模画像データセット ImageNetの分類タスクにおいてDNNの学習を2分で完了させることに成功した。この研究成果はデータマイニング分野最難関の国際会議 KDD2020 の本会議で発表を行っ た(採択率 16.9% 216/1279 件)。ここまでの本研究で用いてきた自然勾配法では、フィッシャー情報行列を1) DNNの層ごとのブロック対角行列に近似し、2) 各対角ブロックのクロネッカー因子分解近似を行っている。本研究では、この二つの近似について数理的な解析を行った。ニューロンの数を無限に持つ「無限幅DNN」に議論を限定することで、こうした近似を伴う自然勾配法は、正確な自然勾配法と同様の収束を実現できることを初めて証明した。この研究成果は 機械学習分野最難関の NeurIPS2020 の本会議で口頭発表を行った(採択率 1.1% 105/9454 件)。

本研究の一年目に取り組んだ、「自然勾配法による大規模 DNN 学習の高速化」の研究成果を発展させた。まず始めに、自然勾配法で計算のボトルネックとなっていた、フィッシャー情報行列及びその逆行列の計算コストを軽減させる研究に取り組んだ。フィッシャー情報行列の性質を利用し、本研究では、フィッシャー情報行列及びその逆行列の計算頻度を自動調整する手法を提案した。学習に必要になる計算時間を約50%にまで削減することに成功した。この研究成果は機械学習分野最難関のジャーナルである IEEE TPAMI に採択された。次に、大規模計算機上における自然勾配法に伴う計算時間の詳細な解析とその計算パフォーマンスの最適化を行った。具体的には、フィッシャー情報行列の逆行列計算の分散化、フィッシャー情報 行列の対称性を利用した計算の高速化、低精度演算による行列計算の高速化、計算と通信のオーバーラップによる通信コストの隠蔽、などの最適化を行った。大規模画像データセット ImageNetの分類タスクにおいてDNNの学習を2分で完了させることに成功した。この研究成果はデータマイニング分野最難関の国際会議 KDD2020 の本会議で発表を行っ た(採択率 16.9% 216/1279 件)。ここまでの本研究で用いてきた自然勾配法では、フィッシャー情報行列を1) DNNの層ごとのブロック対角行列に近似し、2) 各対角ブロックのクロネッカー因子分解近似を行っている。本研究では、この二つの近似について数理的な解析を行った。ニューロンの数を無限に持つ「無限幅DNN」に議論を限定することで、こうした近似を伴う自然勾配法は、正確な自然勾配法と同様の収束を実現できることを初めて証明した。この研究成果は 機械学習分野最難関の NeurIPS2020 の本会議で口頭発表を行った(採択率 1.1% 105/9454 件)。