深層ゼロ関数学習の計算と理論

点击翻译按钮获取中文摘要

有限の数の訓練データから学習を行う場合，訓練データ上で全く同じ振る舞いをする関数は無数に存在する．これは特に現代の overparameterized な深層学習モデルで顕著であり，多数の準最適関数のうちどの関数を選択するかは興味深くまた広い応用を持つ問題である．本年は，深層学習モデルの敵対的訓練における学習ダイナミクスに関する理論的な分析を行なった．敵対的訓練は，入力への摂動にロバストな深層学習モデルの訓練に用いられる．しかしその理論的な性質は深く理解されていない．本研究では，十分幅の広い深層ニューラルネットワークの学習初期の学習ダイナミクスに関して，理論的な結果を得た．解析にあたり，従来の理論的枠組みが直接適用できないため，まず新たな理論的枠組みを作り，それを用いて分析した．その結果，どのようなモデルアーキテクチャやハイパーパラメータ設定でどの程度の学習ができるのかという点について理論的な評価を与えてた．具体的には，通常の多層ニューラルネットワークが敵対的学習では不安定となることを示し，残差接続を導入することで安定ができることを示した．実験において，この理論的結果が実際の学習の挙動と非常によく一致することや，学習初期以降でもよく成立していることを確認できた．