A statistical mechanics approach to reliability assessment in large scale statistical inference

点击翻译按钮获取中文摘要

本年度は以下の２つの課題に取り組んだ。【課題１：相関のある特徴パターンに対する半解析的近似安定性選択(SS)法の構築】L1正則化を用いた推定の結果に対する確信度に基づいて変数選択を行うSS法の近似アルゴリズムを開発した。SS法は、複数の疑似データセットに対して繰り返しL1正則化を用いた推定を実行する必要がある。これは計算量的に困難である。我々は、統計力学のレプリカ法と、近似推論手法である期待値伝播(EP)法を組み合わせ、推定を繰り返さず、ただ一度の推定操作により同様の結果を得るアルゴリズムを構築した。問題サイズが大きな極限で、提案法の理論解析を行い、手法の高速性、および正確性を明らかにした。さらに、数値実験を行い、合成/実データのいずれの場合にも既存法より高速に所望の統計量が算出できる例を示した。現在、これらの成果を論文にまとめて査読付き学術誌に投稿中である。【課題２：モデル不整合時におけるEP法の理論的解析】また、EP法の理論解析の枠組みを整備する研究も行った。一般化線形モデルの推論において、分析者が想定するデータ生成過程と真の過程生成プロセスが異なるモデル不整合時のEP法の挙動を理論解析した。取得データの特徴量間の相関をランダム行列によってモデル化し、EP法の収束過程を正確に特徴付ける公式を導出した。また、レプリカ法を用いた解析を行い、特徴量間に相関を有する場合であっても、EP法は問題サイズが大きな極限で正確な統計量を算出しうることを示した。これは、EP法の実際的な有用性を示している。さらに、推定に用いる損失関数が複雑化し、レプリカ対称性の破れと呼ばれる現象が生じた場合には、EP法の固定点は局所的に不安定となることを示した。これは、EP法の原理的な限界を示している。これらの結果は課題１の理論解析で用いられた。この成果は論文にして投稿され、査読あり国際会議に採択された。