Development of nonlinear semidefinite optimization theory and application to machine learning

2022年度では, 非線形最適化問題の最重要クラスの一つである最小２乗問題に着目し、とくにその問題に対する数値解法の一つであるレーベンバーグ・マルカート法（以下、LM法）のアルゴリズムの改良型について以下２点の研究を行い、いすれも最適化の国際論文誌に投稿中である。なお、新たに開発した両アルゴリズムとも本研究課題の対象である半正定値錐上の最小２乗問題に適用可能である。１. 加速勾配法に基づいた一般化LM法とそのオラクル計算量保証と２次収束性保証の両立２．リーマン多様体上のLM法の開発と理論保証まず１についてであるが、LM法は或る強凸最適化問題を部分問題として繰返し近似的に解くことで元問題の解へ収束する点列を生成するアルゴリズムである。その近似精度と元問題の解への２次収束性の関係、全体の計算量の見積もりと近似精度の関係は各々知られているものの、両性質を担保できる近似精度の設定は不明だった。提案LM法では、２次収束性と全体の計算量の保証が両方可能な近似精度の設定方法を明らかにした。なお、本LM法は最小２乗問題だけでなく、より一般的なクラスである最小化問題に適用可能である。２の研究ではユークリッド空間上のみで論じられてきたLM法をより一般的な空間であるリーマン多様体に拡張した。本LM法に対して、大域的収束性に加えエラーバウンド条件という緩い条件下で２次収束性を証明した。両手法とも機械学習などで現れる問題に対して適用し、既存のLM法やニュートン法などと比較して優れた性能を発揮することを確認した。

2022年度では, 非線形最適化問題の最重要クラスの一つである最小２乗問題に着目し、とくにその問題に対する数値解法の一つであるレーベンバーグ・マルカート法（以下、LM法）のアルゴリズムの改良型について以下２点の研究を行い、いすれも最適化の国際論文誌に投稿中である。なお、新たに開発した両アルゴリズムとも本研究課題の対象である半正定値錐上の最小２乗問題に適用可能である。１. 加速勾配法に基づいた一般化LM法とそのオラクル計算量保証と２次収束性保証の両立２．リーマン多様体上のLM法の開発と理論保証まず１についてであるが、LM法は或る強凸最適化問題を部分問題として繰返し近似的に解くことで元問題の解へ収束する点列を生成するアルゴリズムである。その近似精度と元問題の解への２次収束性の関係、全体の計算量の見積もりと近似精度の関係は各々知られているものの、両性質を担保できる近似精度の設定は不明だった。提案LM法では、２次収束性と全体の計算量の保証が両方可能な近似精度の設定方法を明らかにした。なお、本LM法は最小２乗問題だけでなく、より一般的なクラスである最小化問題に適用可能である。２の研究ではユークリッド空間上のみで論じられてきたLM法をより一般的な空間であるリーマン多様体に拡張した。本LM法に対して、大域的収束性に加えエラーバウンド条件という緩い条件下で２次収束性を証明した。両手法とも機械学習などで現れる問題に対して適用し、既存のLM法やニュートン法などと比較して優れた性能を発揮することを確認した。