Statistical mechanics of heuristic methods in multi-stage learning

多阶段学习中启发式方法的统计机制

• 批准号: 21K21310
• 负责人: 高橋 昂
• 金额: $ 1.91万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Research Activity Start-up
• 财政年份: 2021
• 资助国家: 日本
• 起止时间: 2021-08-30 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-21K21310/
• 关键词: 半教師あり学習; アンサンブル学習; レプリカ法; 近似確率伝搬法; 機械学習; 統計力学; モデル圧縮

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、２成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。

This year's は, (i) I studied the precise asymptotic theory of におけるラベルバイアスの's influence by myself and によるanalysis, および (ii) バギングによる Unbiased inference of quantity の Vibration る Dance い の Precision asymptotic theory に よ る Analysis を 行 っ た. The following is an explanation of the content of the research. (a) The influence of learning におけるラベルバイアスの by myself: Last year's research, classification of 2-component mixture distribution and linear pattern learning対してlearn on your own を行ったoccasion の Vibration る Dance いについてのPrecision Asymptotic Theory をConstruction した. Occasion によってはlearn by yourselfで Use いるsimilarly ラベルが真のラベルに rivals the performance of the つことが明らかとなっていたが、様々にconditionsを変えたたのgeneralization errorについてNetworkにanalyticし、suspectedラベルの性が真のラベルにmatchするconditionsをinvestigationした.そのRESULT, ラベルバイアスが小さい occasion にはLong time limit でほぼ teacher ありlearning とEQ価なperformance をhold つが, ラベルバイアスが大きくなるとhurry teacher ありlearn the performance of に対するphase対が悪化することが明らかとなった.このRESULTS をまとめてNow thesis にまとめ、Now check the results である. (b) Reduce the dispersion of the unbiased estimated amount of the バギングによるLinear return method, approximate accuracy, transfer method, unbiased estimation, construction, and knowledge. The purpose of this study is to unbiasedly estimate the quantitative and average values.るバギングOperation を行ってGet the properties of られるstatisticsをPrecision asymptotic theoryによってanalyticsした.このRESULT、バギングを行ってもやはり unbiased estimation of quantityであり、かつ Obtain the consistency degree of the regularization and regularization of the properties of the データの,バギングのeffectがほとんどない区からバギングがpositiveに分Scatter を reduce さ せ る field へ の phase change が 生 じ る こ と を 明 ら か に し た. The results of the paper were submitted to international conferences.

项目成果

ブートストラップ平均化された不偏推定量の統計力学的解析

自举平均无偏估计量的统计力学分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂

Sharp Asymptotics of Self-training with Linear Classifier

线性分类器自训练的尖锐渐近

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi
• 通讯作者: Takashi Takahashi

反復型自己学習アルゴリズムのレプリカ解析

迭代自学习算法的副本分析

• 发表时间: 2022
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂
• 通讯作者: 髙橋昂

半教師あり学習の平衡統計力学的解析

半监督学习的平衡统计力学分析

• 发表时间: 2021
• 作者: Teruki Toya;peter Birkholz;Masashi Unoki;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;鳥谷輝樹，BIRKHOLZ Peter，鵜木祐史;Takashi Takahashi;髙橋昂;髙橋昂;髙橋昂
• 通讯作者: 髙橋昂