A novel development of optimization and deep learning methods based on the idea of structure-preserving numerical analysis

点击翻译按钮获取中文摘要

本研究では，(1)最適化手法および深層学習手法の数値解析学的解釈の基礎を再検討し，(2)それらにおいて有用な数理構造を抽出し，(3)その上で構造保存的数値計算法の考え方により新しい離散化，すなわち手法導出を，この順に検討してゆく．さらにその過程で，最適化や深層学習といった新しい計算分野を踏まえての，構造保存解法や数値解析学そのものの更新も必要に応じて検討することが目標である．以前のサーベイにより，最適化手法に対する常微分方程式アプローチにおいて，数値解析学の知見が充分活用されておらず不完全な状態にあることが分かっていた．この状況をふまえて昨年度までに，常微分方程式に対する数値解法の安定性の議論から，最適化手法を表す常微分方程式の解の収束レートが本質的に定まることを示していた．また最適化の一次法において，数値解析学的に手法の安定性に関係するのは目的関数のヘッセ行列の固有値であり，悪条件な問題ではこれらが安定性を議論する平面上で負の実軸上に広く分布することから，それに適した数値解法を用いることで，悪条件な問題においても効率よく動く手法が構成できることを示していた．本年度は，主に最適化手法の理論解析手法に着目し，数値解析学における「構造保存解法」の概念をうまく用いると，これまで職人芸的であった最適化手法の理論解析が見通しよく，統一的な枠組の上で議論できることを発見した．この新しい枠組では，手法の収束性を保証するための仮定が整理されており明解であり，新しい解法の構築に役立つことが期待される．