Statistical mechanical approach to matrix and tensor estimation

矩阵和张量估计的统计机械方法

• 批准号: 22KJ1074
• 负责人: 岡島 光希
• 金额: $ 1.6万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1074/
• 关键词: レプリカ法; 平均場近似; スパース推定; 圧縮センシング; 高次元統計; 統計力学

本研究課題の目標はデータ構造に即したスパース性に注目した推論の統計力学的解析及びアルゴリズム開発である．特に，本年度はレプリカ法と呼ばれる，ランダムに特徴づけられた機械学習や最適化問題の理論解析に用いられる統計力学的手法の適用範囲の拡張を試みた．一般に，レプリカ法は観測数，説明変数及び真の信号の非零要素の数が全て同じレートで発散する極限において，中心極限定理を適用することで漸近的な理論予測を精密に与えることが知られている．一方，実問題にて現れるデータは観測数によらず低次元の多様体上に分布していると示唆されているように，真の信号の非零要素も観測数に依存せず極少数であると想定する方が現実に即している場合がある．これらの問題設定を既存の統計力学的解析で扱うことは困難である．本年度は，このような極スパース条件下における代表的な推定手法であるL1正則化付き線型回帰を対象として，上記の問題を念頭においた解析を試みた．具体的には，真の信号の少数の非ゼロ成分を個別にミクロな量として扱い，残りの部分についてレプリカ法を用いて平均場的扱いをすることで，L1正則化による特徴量選択の性能などを精密に予測できることがわかった．また，この解析の結果から真の信号の非零要素の位置の推定に対応する，サポート復元のための条件を導くことができた．これらの結果は人工知能及び統計学に関する国際会議 International Conference on Artificial Intelligence and Statistics (AISTATS) にて発表された．

该研究主题的目的是开发推理和算法开发的统计机械分析，重点是与数据结构一致的稀疏性。特别是，今年我们试图扩大称为复制方法的统计力学方法的应用范围，这些方法用于随机表征机器学习和优化问题的理论分析。通常，已知复制方法通过在观测，解释变量的数量以及真实信号的非零元素的数量的情况下应用中心极限定理来提供精确的渐近理论预测预测预测的预测预测。另一方面，由于建议出现在实际问题中的数据分布在低维歧管上，而不论观察次数如何，因此假设真实信号的非零元素也非常小，而不会依赖于观察的数量，则可能更为现实。通过现有的统计力学分析，很难解决这些问题设置。今年，我们试图牢记上述问题，重点是使用L1正则化的线性回归，L1正则化是在这种极地稀疏条件下的典型估计方法。具体而言，发现通过使用副本方法将少量的真实信号的非零分量分别视为微量定量，并在平均场中处理其余部分，可以使用L1正则化准确地预测特征选择的性能。此外，该分析的结果能够得出支持恢复的条件，这与真实信号非零元素的位置的估计相对应。这些结果在国际人工智能与统计会议（AISTATS）上提出。

项目成果

極スパース条件におけるLassoによるサポート復元条件

支持极其稀疏条件下使用Lasso的恢复条件

• 发表时间: 2023
• 作者: 岡島光希;Xiangming Meng;髙橋昂;樺島祥介
• 通讯作者: 樺島祥介

極スパース状況下におけるLasso回帰の統計力学的解析

极稀疏条件下Lasso回归的统计力学分析

• 发表时间: 2022
• 作者: 岡島光希;Xiangming Meng;髙橋昂;樺島祥介
• 通讯作者: 樺島祥介