Statistical mechanical approach to matrix and tensor estimation

矩阵和张量估计的统计机械方法

• 批准号: 22KJ1074
• 负责人: 岡島 光希
• 金额: $ 1.6万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for JSPS Fellows
• 财政年份: 2023
• 资助国家: 日本
• 起止时间: 2023-03-08 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22KJ1074/
• 关键词: レプリカ法; 平均場近似; スパース推定; 圧縮センシング; 高次元統計; 統計力学

本研究課題の目標はデータ構造に即したスパース性に注目した推論の統計力学的解析及びアルゴリズム開発である．特に，本年度はレプリカ法と呼ばれる，ランダムに特徴づけられた機械学習や最適化問題の理論解析に用いられる統計力学的手法の適用範囲の拡張を試みた．一般に，レプリカ法は観測数，説明変数及び真の信号の非零要素の数が全て同じレートで発散する極限において，中心極限定理を適用することで漸近的な理論予測を精密に与えることが知られている．一方，実問題にて現れるデータは観測数によらず低次元の多様体上に分布していると示唆されているように，真の信号の非零要素も観測数に依存せず極少数であると想定する方が現実に即している場合がある．これらの問題設定を既存の統計力学的解析で扱うことは困難である．本年度は，このような極スパース条件下における代表的な推定手法であるL1正則化付き線型回帰を対象として，上記の問題を念頭においた解析を試みた．具体的には，真の信号の少数の非ゼロ成分を個別にミクロな量として扱い，残りの部分についてレプリカ法を用いて平均場的扱いをすることで，L1正則化による特徴量選択の性能などを精密に予測できることがわかった．また，この解析の結果から真の信号の非零要素の位置の推定に対応する，サポート復元のための条件を導くことができた．これらの結果は人工知能及び統計学に関する国際会議 International Conference on Artificial Intelligence and Statistics (AISTATS) にて発表された．

This research topic の target は デ ー に タ structure namely し た ス パ ー ス sex に attention し た inference の parsing of statistical mechanics and び ア ル ゴ リ ズ ム open 発 で あ る. に, this year's は レ プ リ と カ method called ば れ る, ラ ン ダ ム に, 徴 づ け ら れ た rote learning や optimization problem の theory analytical に い ら れ る statistical mechanics methods の applicable van 囲 の company, zhang を try み た. Generally に, レ プ リ カ method は 観 count, and び is の signal の - number number of nonzero elements の が full て with じ レ ー ト で 発 scattered す る limit に お い て, central limit theorem を applicable す る こ と で asymptotic を な theory to the test precision に and え る こ と が know ら れ て い る. Side, be problem に て now れ る デ ー タ は 観 count に よ ら ず の many others in the low dimensional body に on distribution し て い る と in stopping さ れ て い る よ う に, true の signal の nonzero elements も 観 count に dependent せ ず few で あ る と scenarios す る party が now be に namely し て い る occasions が あ る. The <s:1> れら <s:1> problem setting を the analysis of the existing <s:1> statistical mechanics で the う う the と と the と を is difficult である. This year は こ の よ う な extremely ス パ ー ス conditions に お け る representative presumption な gimmick で あ る L1 regularization き linear return 帰 を like と seaborne し て, written の problem を thought に お い た parsing を try み た. Specific に は, true の signal の minority の non ゼ ロ composition を individual に ミ ク ロ な quantity と し て Cha い, residual り の part に つ い て レ プ リ を カ method with い て average field Cha い を す る こ と で, L1 regularization に よ る, sentaku 徴 quantity の performance な ど を precision に be で き る こ と が わ か っ た. ま た, こ の analytical results の か ら の is の signal の nonzero elements position の presumption に 応 seaborne す る, サ ポ ー ト recovery の た め を の conditions く こ と が で き た. The results were presented at the する International Conference on Artificial Intelligence and Statistics (AISTATS) にて.

项目成果

Average case analysis of Lasso under ultra sparse conditions

超稀疏条件下Lasso的平均情况分析

• 发表时间: 2023
• 期刊: Proceedings of The 26th International Conference on Artificial Intelligence and Statistics (AISTATS2023)
• 作者: K. Okajima;X. Meng;T. Takahashi;Y. Kabashima
• 通讯作者: Y. Kabashima

極スパース条件におけるLassoによるサポート復元条件

支持极其稀疏条件下使用Lasso的恢复条件

• 发表时间: 2023
• 作者: 岡島光希;Xiangming Meng;髙橋昂;樺島祥介
• 通讯作者: 樺島祥介

極スパース状況下におけるLasso回帰の統計力学的解析

极稀疏条件下Lasso回归的统计力学分析

• 发表时间: 2022
• 作者: 岡島光希;Xiangming Meng;髙橋昂;樺島祥介
• 通讯作者: 樺島祥介