最適化と汎化を統合した深層学習理論の構築

本研究の目的は，(1)新しい最適化理論の展開，(2)最適化後のパラメータに対する汎化誤差理論の深化，及び(3) (1)と(2)を統合した現実の深層学習の有効性を説明する理論の構築の三つであった．本目的達成のため，今年度は以下の二つの研究を実施した．(A) 深層学習で代表的なReLU活性化関数を持つ二層ニューラルネットワークについて，教師生徒設定と呼ばれる問題設定下での他手法への優位性を理論的に保証した．本研究では二段階の勾配降下法を考えることで，既存研究で扱えていなかったReLU活性化関数を扱える枠組みを構築した．さらに同様の枠組みによりサンプルサイズに対して多項式時間での学習が理論的に可能であることを示しており，より実用的な深層学習の優位性を保証する結果であると言える．以上の観点から，本結果は前述の目的(1)-(3)を達成するものとなっている．(B)近年実験的に観測されていた良性過学習という現象が，深層学習で実際に起こり得ることを理論的に証明した．良性過学習とは従来の統計理論に反して，極度に高次元化されたモデルが汎化する現象を指す．この現象は主に高次元深層学習モデルで観測され，近年線形モデルに対して理論解析が進んでいたが，深層学習に関してはほとんど理論的に明らかにされていなかった．本研究では，二層ニューラルネットワークに対して三段階の学習手法を考え，良性過学習が実際に起こることを保証した．また同時に，本研究は深層学習の有用性を説明するキーワードのひとつである，特徴量学習を説明する結果のひとつとなっている．本結果は，(A)同様に前述の目的(1)-(3)を(高次元統計の立場から)達成するものとなっている．

本研究の目的は，(1)新しい最適化理論の展開，(2)最適化後のパラメータに対する汎化誤差理論の深化，及び(3) (1)と(2)を統合した現実の深層学習の有効性を説明する理論の構築の三つであった．本目的達成のため，今年度は以下の二つの研究を実施した．(A) 深層学習で代表的なReLU活性化関数を持つ二層ニューラルネットワークについて，教師生徒設定と呼ばれる問題設定下での他手法への優位性を理論的に保証した．本研究では二段階の勾配降下法を考えることで，既存研究で扱えていなかったReLU活性化関数を扱える枠組みを構築した．さらに同様の枠組みによりサンプルサイズに対して多項式時間での学習が理論的に可能であることを示しており，より実用的な深層学習の優位性を保証する結果であると言える．以上の観点から，本結果は前述の目的(1)-(3)を達成するものとなっている．(B)近年実験的に観測されていた良性過学習という現象が，深層学習で実際に起こり得ることを理論的に証明した．良性過学習とは従来の統計理論に反して，極度に高次元化されたモデルが汎化する現象を指す．この現象は主に高次元深層学習モデルで観測され，近年線形モデルに対して理論解析が進んでいたが，深層学習に関してはほとんど理論的に明らかにされていなかった．本研究では，二層ニューラルネットワークに対して三段階の学習手法を考え，良性過学習が実際に起こることを保証した．また同時に，本研究は深層学習の有用性を説明するキーワードのひとつである，特徴量学習を説明する結果のひとつとなっている．本結果は，(A)同様に前述の目的(1)-(3)を(高次元統計の立場から)達成するものとなっている．