Statistical mechanics of heuristic methods in multi-stage learning

多阶段学习中启发式方法的统计机制

• 批准号: 21K21310
• 负责人: 高橋 昂
• 金额: $ 1.91万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-08-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K21310/
• 关键词: 半教師あり学習; アンサンブル学習; レプリカ法; 近似確率伝搬法; 機械学習; 統計力学; モデル圧縮

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、２成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。

This year,(i) the exact asymptotic theory of the influence of self-learning,(ii) the exact asymptotic theory of unbiased quantitative oscillation, and (iii) the exact asymptotic theory of self-learning. The following is a description of the contents of this study. (a)The influence of self-learning: In yesterday's research, the classification of the distribution of the two-component mixture and the linear model of learning is related to the precise asymptotic theory of the vibration of the occasion when self-learning. In the case of self-learning, the suspected attribute is true, and the performance of the match is maintained. The generalization error during the change of the condition is analyzed. The suspected attribute is true, and the condition of the match is investigated. For example, if you are a teacher, you may be able to learn from others. If you are a teacher, you may be able to learn from others. If you are a teacher, you may be able to learn from others. The result of this is that the paper is now open. (b)The method of linear regression and approximate accuracy is used to construct an unbiased regression model. In this study, the properties of the statistics obtained from the operation of the algorithm are analyzed by precise asymptotic theory. The result of this is that the property of the obtained data is determined by the regularization of the data. The result of the obtained data is determined by the regularization of the data. The result of the obtained data is positive. The dispersion of the data is reduced. The phase shift of the data is generated. The results of this paper are presented at international conferences.

项目成果

ブートストラップ平均化された不偏推定量の統計力学的解析

自举平均无偏估计量的统计力学分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂

Sharp Asymptotics of Self-training with Linear Classifier

线性分类器自训练的尖锐渐近

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi
• 通讯作者: Takashi Takahashi

反復型自己学習アルゴリズムのレプリカ解析

迭代自学习算法的副本分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂
• 通讯作者: 髙橋昂

半教師あり学習の平衡統計力学的解析

半监督学习的平衡统计力学分析

• 发表时间: 2021
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂