Statistical mechanics of heuristic methods in multi-stage learning

点击翻译按钮获取中文摘要

今年度は、(i)自己学習におけるラベルバイアスの影響の精密漸近論による解析、および(ii)バギングによる不偏推定量の振る舞いの精密漸近論による解析を行った。以下でそれぞれの研究の内容について説明する。(a) 自己学習におけるラベルバイアスの影響: 昨年度の研究で、２成分混合ガウス分布の分類における線形モデルの学習に対して自己学習を行った場合の振る舞いについての精密漸近論を構築した。場合によっては自己学習で用いる疑似ラベルが真のラベルに匹敵する性能を持つことが明らかとなっていたが、様々に条件を変えた際の汎化誤差について網羅的に解析し、疑似ラベルの性質が真のラベルに匹敵する条件を調査した。その結果、ラベルバイアスが小さい場合には長時間極限でほぼ教師あり学習と等価な性能を持つが、ラベルバイアスが大きくなると急速に教師あり学習に対する相対的な性能が悪化することが明らかとなった。この結果をまとめて現在論文にまとめ、現在査読中である。(b) バギングによる不偏推定量の分散低減: 線形回帰において近似確率伝搬法によって不偏推定量が構築できることが知られている。本研究では、この不偏推定量を様々なブートストラップデータに対して平均するバギング操作を行って得られる統計量の性質を精密漸近論によって解析した。この結果、バギングを行ってもやはり不偏推定量であり、かつ取得データの性質と仮定している正則化の合致度に応じて、バギングの効果がほとんどない領域からバギングが積極的に分散を低減させる領域への相転移が生じることを明らかにした。この結果は論文にまとめ国際会議に投稿した。