权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

A statistical mechanics approach to reliability assessment in large scale statistical inference

大规模统计推断中可靠性评估的统计力学方法

基本信息

批准号：
19J10711
负责人：
高橋昂
金额：
$ 1.09万
依托单位：
Tokyo Institute of Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2019
资助国家：
日本
起止时间：
2019-04-25 至 2021-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-19J10711/
关键词：
安定性選択法レプリカ法期待値伝播法平均場近似近似推論

项目摘要

本年度は以下の２つの課題に取り組んだ。【課題１：相関のある特徴パターンに対する半解析的近似安定性選択(SS)法の構築】L1正則化を用いた推定の結果に対する確信度に基づいて変数選択を行うSS法の近似アルゴリズムを開発した。SS法は、複数の疑似データセットに対して繰り返しL1正則化を用いた推定を実行する必要がある。これは計算量的に困難である。我々は、統計力学のレプリカ法と、近似推論手法である期待値伝播(EP)法を組み合わせ、推定を繰り返さず、ただ一度の推定操作により同様の結果を得るアルゴリズムを構築した。問題サイズが大きな極限で、提案法の理論解析を行い、手法の高速性、および正確性を明らかにした。さらに、数値実験を行い、合成/実データのいずれの場合にも既存法より高速に所望の統計量が算出できる例を示した。現在、これらの成果を論文にまとめて査読付き学術誌に投稿中である。【課題２：モデル不整合時におけるEP法の理論的解析】また、EP法の理論解析の枠組みを整備する研究も行った。一般化線形モデルの推論において、分析者が想定するデータ生成過程と真の過程生成プロセスが異なるモデル不整合時のEP法の挙動を理論解析した。取得データの特徴量間の相関をランダム行列によってモデル化し、EP法の収束過程を正確に特徴付ける公式を導出した。また、レプリカ法を用いた解析を行い、特徴量間に相関を有する場合であっても、EP法は問題サイズが大きな極限で正確な統計量を算出しうることを示した。これは、EP法の実際的な有用性を示している。さらに、推定に用いる損失関数が複雑化し、レプリカ対称性の破れと呼ばれる現象が生じた場合には、EP法の固定点は局所的に不安定となることを示した。これは、EP法の原理的な限界を示している。これらの結果は課題１の理論解析で用いられた。この成果は論文にして投稿され、査読あり国際会議に採択された。

This year, the following 2 topics were selected. [Topic 1: Construction of semi-analytical approximate stability selection (SS) method for correlation characteristics] L1 regularization is used to estimate the results of correlation. SS method is necessary for the implementation of the estimation of L1 regularization. It is difficult to calculate the quantity. The method of statistical mechanics, approximation, expectation propagation (EP), and the method of inference are used to construct the results of the same method. The problem is the limit of the problem, the theoretical analysis of the proposal method, the speed of the method, and the legality of the method. For example, if the desired statistic is calculated at a high speed, it is calculated at a high speed. Now, the results of this paper are published in academic journals. Topic 2: Theoretical analysis of EP method in case of unconformity Generalization of linear model and inference, analysis of the process of generation of the model and the process of generation of the model and theoretical analysis of the motion of the EP method when the model is not integrated To obtain the correlation between the characteristic quantities of the data, the equation of the characteristic quantities of the EP method is derived from the equation of the characteristic quantities of the EP method. For example, if you want to use the EP method, you can use it to calculate the correct statistics. The practical usefulness of EP law is demonstrated. In addition, the loss coefficient of the estimation method is reduced, and the loss coefficient of the estimation method is reduced. The principle of EP method is limited. The result of this paper is the theoretical analysis of problem 1. The results of this paper were submitted to the International Conference.