Statistical mechanical approach to matrix and tensor estimation

点击翻译按钮获取中文摘要

本研究課題の目標はデータ構造に即したスパース性に注目した推論の統計力学的解析及びアルゴリズム開発である．特に，本年度はレプリカ法と呼ばれる，ランダムに特徴づけられた機械学習や最適化問題の理論解析に用いられる統計力学的手法の適用範囲の拡張を試みた．一般に，レプリカ法は観測数，説明変数及び真の信号の非零要素の数が全て同じレートで発散する極限において，中心極限定理を適用することで漸近的な理論予測を精密に与えることが知られている．一方，実問題にて現れるデータは観測数によらず低次元の多様体上に分布していると示唆されているように，真の信号の非零要素も観測数に依存せず極少数であると想定する方が現実に即している場合がある．これらの問題設定を既存の統計力学的解析で扱うことは困難である．本年度は，このような極スパース条件下における代表的な推定手法であるL1正則化付き線型回帰を対象として，上記の問題を念頭においた解析を試みた．具体的には，真の信号の少数の非ゼロ成分を個別にミクロな量として扱い，残りの部分についてレプリカ法を用いて平均場的扱いをすることで，L1正則化による特徴量選択の性能などを精密に予測できることがわかった．また，この解析の結果から真の信号の非零要素の位置の推定に対応する，サポート復元のための条件を導くことができた．これらの結果は人工知能及び統計学に関する国際会議 International Conference on Artificial Intelligence and Statistics (AISTATS) にて発表された．