機械学習上の非線形最適化の発展と深化

目的関数が微分可能な関数と微分不可な関数の和で表される最適化問題に対するアルゴリズムとして、ニュートン型近接勾配法に注目した。ニュートン型近接勾配法において、重み付き近接写像と呼ばれる部分問題の計算効率の悪さが課題である。本研究では、比較的簡単に部分問題を解くことのできる、対称ランクワン公式を用いたニュートン型近接勾配法を開発し、アルゴリズム全体の計算効率改善に成功した。また提案手法の収束性解析を行い、数値実験を通じて有効性を示した。上述のニュートン型近接勾配法とは異なるアプローチとして、ヘッセ行列の対角成分だけを取り出したニュートン型近接勾配法（近接対角ニュートン法）を開発した。既存のニュートン型近接勾配法とは異なり、対角行列を用いた重み付き近接写像は閉形式で計算ができるといった利点が挙げられる。提案手法の収束性を解析し、特定の条件下では提案手法が優れていることを示した。昨年度の研究成果として刈り込みL1関数を用いたロバストなスパース回帰問題のモデルを提案している。このモデルを画像処理におけるイメージレジストレーションと呼ばれる画像の位置合わせ手法に応用した。この方法は画像の外れ値に影響されない頑健な手法であることが大きな特徴である。現在まで取り組んできたユークリッド空間上の最適化問題に対するメモリーレス準ニュートン法をリーマン多様体上の最適化問題に拡張した。提案手法の収束性について解析し、数値実験を通じて提案手法の有効性を示した。上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein（BB）法を提案した。応用上の問題では、問題の変数の属性ごとに独立した性質を持つことに注目した。通常の有効制約BB法はすべての変数に対してスケーリングを施すことに対して、提案手法では変数をブロック分割し、属性ごとに異なるスケーリングを施すことを試みた。

目的関数が微分可能な関数と微分不可な関数の和で表される最適化問題に対するアルゴリズムとして、ニュートン型近接勾配法に注目した。ニュートン型近接勾配法において、重み付き近接写像と呼ばれる部分問題の計算効率の悪さが課題である。本研究では、比較的簡単に部分問題を解くことのできる、対称ランクワン公式を用いたニュートン型近接勾配法を開発し、アルゴリズム全体の計算効率改善に成功した。また提案手法の収束性解析を行い、数値実験を通じて有効性を示した。上述のニュートン型近接勾配法とは異なるアプローチとして、ヘッセ行列の対角成分だけを取り出したニュートン型近接勾配法（近接対角ニュートン法）を開発した。既存のニュートン型近接勾配法とは異なり、対角行列を用いた重み付き近接写像は閉形式で計算ができるといった利点が挙げられる。提案手法の収束性を解析し、特定の条件下では提案手法が優れていることを示した。昨年度の研究成果として刈り込みL1関数を用いたロバストなスパース回帰問題のモデルを提案している。このモデルを画像処理におけるイメージレジストレーションと呼ばれる画像の位置合わせ手法に応用した。この方法は画像の外れ値に影響されない頑健な手法であることが大きな特徴である。現在まで取り組んできたユークリッド空間上の最適化問題に対するメモリーレス準ニュートン法をリーマン多様体上の最適化問題に拡張した。提案手法の収束性について解析し、数値実験を通じて提案手法の有効性を示した。上下限制約付き最適化問題に対する有効制約ブロックBarzilai-Borwein（BB）法を提案した。応用上の問題では、問題の変数の属性ごとに独立した性質を持つことに注目した。通常の有効制約BB法はすべての変数に対してスケーリングを施すことに対して、提案手法では変数をブロック分割し、属性ごとに異なるスケーリングを施すことを試みた。