Evolution of data science theory through analysis of solvable models

本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標とする． 具体的課題として申請時に３つの課題を設定したが，特に初年度は「課題2：ランダム特徴量を用いた連合学習・ゼロショット学習の理論解析」に関連した解析を行った．より具体的には，実際に本課題を遂行をする上で理論モデルの基礎となるだろう，混合ガウスモデルの理論解析を通常の分類問題の文脈で行った．まず，不均衡ラベルデータにおいて，リサンプリングやリウェイティングの効果を調べる研究を行い，特徴量学習の精度においてはリサンプリングやリウェイティングが役に立たない状況があることを見出した．これは実験的に発見された分離学習と呼ばれる概念を理論的に追証した結果となる．この結果を現在論文にまとめている．また，半教師有り学習における推定精度の解析も別途おこない，ラベルなしデータの推定精度向上における効果を定量的に検証した．正則化付き最尤法とベイズ最適な場合の解析を行い，その推定精度の比較も行った．これにより，推定量がゼロに潰れた状態からそうでなくなる状態への相転移が，ラベル無しデータのみかつラベル分布が均衡している状態では現れること，その相転移がラベル不均衡やラベル付きデータによって消えること，ベイズ最適推定量が基本的に常に精度としては優越するが，最尤推定量も精度でそれほど劣っているわけではないこと，などが明らかとなった．この結果も現在論文にまとめている．これ以外に，ニューラル崩壊という現象の理論解析を新しく始めた．この現象は，深層学習において同じクラスの特徴量ベクトルが同一のベクトルに縮退するというもので，分類問題を高精度に解く上で重要な役割を果たしていると考えられている．この現象を示す理論モデルを解析する手法を開発している段階である．

本研究は，ランダム特徴モデルという可解モデルの解析を行い，それを通じて機械学習・データ科学に現れる問題群の深い数理的理解と実用的数値解法を得ることを目標とする． 具体的課題として申請時に３つの課題を設定したが，特に初年度は「課題2：ランダム特徴量を用いた連合学習・ゼロショット学習の理論解析」に関連した解析を行った．より具体的には，実際に本課題を遂行をする上で理論モデルの基礎となるだろう，混合ガウスモデルの理論解析を通常の分類問題の文脈で行った．まず，不均衡ラベルデータにおいて，リサンプリングやリウェイティングの効果を調べる研究を行い，特徴量学習の精度においてはリサンプリングやリウェイティングが役に立たない状況があることを見出した．これは実験的に発見された分離学習と呼ばれる概念を理論的に追証した結果となる．この結果を現在論文にまとめている．また，半教師有り学習における推定精度の解析も別途おこない，ラベルなしデータの推定精度向上における効果を定量的に検証した．正則化付き最尤法とベイズ最適な場合の解析を行い，その推定精度の比較も行った．これにより，推定量がゼロに潰れた状態からそうでなくなる状態への相転移が，ラベル無しデータのみかつラベル分布が均衡している状態では現れること，その相転移がラベル不均衡やラベル付きデータによって消えること，ベイズ最適推定量が基本的に常に精度としては優越するが，最尤推定量も精度でそれほど劣っているわけではないこと，などが明らかとなった．この結果も現在論文にまとめている．これ以外に，ニューラル崩壊という現象の理論解析を新しく始めた．この現象は，深層学習において同じクラスの特徴量ベクトルが同一のベクトルに縮退するというもので，分類問題を高精度に解く上で重要な役割を果たしていると考えられている．この現象を示す理論モデルを解析する手法を開発している段階である．