Developing Efficient Algorithms based on Smoothing Loss Function for Large Batch Training

点击翻译按钮获取中文摘要

近年の深層学習における学習時間は、非常に長い時間を要しているため、大規模並列化によっ て学習時間を短縮するのが喫緊の課題である。しかしながら、大規模並列化を用いて一回の入力データ量であ るミニバッチサイズを大きくしたラージバッチでの学習は、スモールバッチでの学習に比べ、汎化性能が劣化する問題が知られている。実は大規模並列学習、いわゆるラージバッチ学習の問題はさらに大きく２つの問題に分解でき、一つは損失関数の形状に帰結すると考えられる問題で、もう一方は高速な収束性を求められるという問題である。本研究では上記２つの問題を解決するため、最適化手法及び適応的学習率法が収束性と汎化性能へ及ぼす影響の解析をして下記２つの結果を得た。これらの結果から、ラージバッチ学習において最適な最適化手法を設計でき、ラージバッチ学習の問題点を改善できると考えられる。まず、損失関数の形状と汎化性能について、最適化に適当なノイズとして解釈される適応的学習率法を用いた場合、巨大なバッチサイズにおいても高い汎化性能を達成する。また、バッチサイズを大きくするほど、これらの暗黙的な正則化と解釈されるノイズの効果が有効であり損失関数の形状を改善することが確認された。次に収束性に関して、Practicalな実験設定においても二次の最適化手法及びその近似手法は一次の最適化手法より高い収束性を示すことを示した。また、適応的学習率法においてもレイヤー毎の学習速度を調整することで限られた反復回数においても収束できることを示しただけでなく、より巨大なバッチサイズにおいても反復回数削減効果が得られることを示した。