モーメント準ニュートン法と確率的分散縮小法の融合による強非線形ビックデータの学習

点击翻译按钮获取中文摘要

本研究課題では，AIとIoT技術がもたらす新たな時代の到来とともに予想される，より複雑（強非線形）かつ膨大なデータ（ビッグデータ）の処理を可能とするニューラルネットワークのこれまでにない新たな学習法の開発を目指す．この為，以下の３点を中心に研究する．・強非線形データに対応するモーメント準ニュートン法の高速化及び収束性能の解析・強非線形ビックデータの学習を高精度かつ高速に可能とするアルゴリズムの開発と解析・提案手法の実問題への応用に関する研究これらの研究により，従来では実現不可能であった複雑さと規模を持つニューラルネットワークの学習問題を解決する．また，その収束性能の解析を通して，高速化に対するメカニズムを明らかにし，その有効性を示すことを目的としている．この目的のため，モーメント準ニュートン法と不動点加速法の融合によるニューラルネットワークに対する学習アルゴリズムの高速化及び安定化手法の確立とその解析を目指した．申請者はこれまでに，ネステロフの加速準ニュートン法（NAQ），および，その問題点（１反復に２度の勾配計算が必要な点）を克服したモーメント準ニュートン法（MoQ）を提案してきた．これらは，準ニュートン法（QN）と比較して，学習時間を，NAQは2/3～1/3に，MoQは1/4～1/9へと大幅に削減することに成功した．一方で，これらのアルゴリズムには，モーメント係数や学習係数（ハイパーパラメータ）の値によって収束が不安定になってしまう問題があり，その適応的決定法に対するロバスト性に関する考察を行ってきた．さらに，提案手法の実問題への応用として，画像認識や生成AIなどへの応用を念頭に，その基礎研究を行った．