階層構造を持つ確率的凸最適化アルゴリズムの開発と大規模機械学習問題への応用

点击翻译按钮获取中文摘要

階層構造を持つ凸最適化アルゴリズムを機械学習・信号処理に応用するための基盤構築に取り組み、その成果を凸最適化理論の世界的権威(Bauschke等)が企画編集したモノグラフ収録の査読付き招待論文(77頁)の形で世界発信することができた。この論文では「非拡大写像の不動点集合上の凸最適化法(ハイブリッド最急降下法)」と「単調作用素の近接分解法」の融合による新解法とその応用法を提案しており、応用事例として1995年以来の未解決問題「誤識別サンプル数を最小にする線形識別器の中から最大マージンを達成する特別な線形識別器を選択する問題」に対する近似解法を与えている(arXive版では多クラス識別に拡張している)。これらは何れも第1層の最適化問題の解全体からなる無限集合を計算可能な非拡大写像の不動点集合として表現する工夫がもたらした成果であるが、「高い応用価値を秘めた無限集合」に斬新な表現法を与え、活用することによって「非自明な構造を持つ最適化問題」の強力な解法を実現した特別な例となっている。当該年度は、本プロジェクトの狙いを広げ、実り多きものにするために、「無限集合の効果的表現法の開発と応用」に関する様々な可能性を検討し、以下の(i)～(iii)の成果を得ている。(i) スパース性利用逆問題のための凸制約付き非凸正則化最小２乗推定モデル「cLiGMEモデル」を提案するとともに、その解集合を非拡大写像の不動点集合で表現し、最適解への収束保証付きアルゴリズムを与えた。(ii) LiGMEモデルをDC最適化問題の観点から再解釈し、拡張されたDC型推定モデルを提案し、信号処理への応用例を示した。(iii) Stiefel 多様体の稠密集合を線形表現可能とする一般化Cayleyパラメトリゼーション法の基本性質解明と最適化アルゴリズムの開発。