数値解析的安定性評価のODE的深層学習への展開

点击翻译按钮获取中文摘要

巷で流行しているChatGPTに代表されるような現代の人工知能にとって，深層学習 (Deep Learning) と呼ばれる数理モデルは，不可欠な要素技術である．ここで，深層学習は，Deep Neural Network (DNN) という，非線形写像を逐次的に合成する関数モデルを，「学習」，つまり，数理最適化することである．DNNについては，万能近似定理や汎化誤差評価といった理論的な解析が進展している．他方，「学習」に関しては，DNNが関数合成から構成されていることが障壁となり，一般的な設定における解析が発展途上になってしまっている．この困難を克服しようと，DNNの逐次的な関数合成を，あるODEの離散化とみなす見方が持ち込まれつつある．このODE化されたDNNはODE-Netと呼ばれる．しかしながら，このようにDNNをODE-Netに取り換えた際には，ODE-Netに適合する「学習」の定式化や解析の枠組みを，新たに確立する必要がある．そこで本年度は，ODE-Netの学習を解析学的，または，変分的に定式化する研究を行った．先行研究においては，提案した変分的定式化に関する最小化元の存在性が，十分議論されていない．例えば，Bonnetらは「学習」に際して課される (L^2) 正則化に伴って必要な正則化パラメータが十分大きいという仮定が必要を必要としているが，実用的な「学習」では十分小さくとる必要がある．我々の研究では，この差を埋めるために，正則化パラメータに仮定を課さずに，最小化元の存在を証明した．この存在証明においては，Neural Networkがある種の線形性を有するという仮定が代わりに必要であるが，Bayes的定式化に触発された定式化を導入することによって，この線形性も仮定から外すことができることを証明した．