識別可能性が失われる場合の多層パーセプトロンの統計的性質に関する研究

点击翻译按钮获取中文摘要

本研究では,パラメトリックな関数の線形結合で表される関数のクラスについて,VC次元が有界であるという緩い仮定の下で,関数に対するある種の制約が最尤推定の下での学習誤差のオーダーに直接関係することを示した.このクラスの関数は,有界な関数gの定数倍として,パラメトリゼーションを変えても尤度の値は不変であることから,入力が与えられた下での関数gのノルムが下からδ(n)で抑えられるという制約を考え,学習誤差の上界がこのδ(n)にして,O_p(log(n))やO_p(loglog(n))となることを示した.ただし,nはデータ数である.特異でないモデルの場合,統計的漸近論に基づく一般的な結果では,学習誤差はO_p(1)であるが,多層パーセプトロンを含む上記の関数のクラスのような特異モデルの場合,学習誤差はO_p(log(n))であることが示されていた.本研究の結果は,こうした学習誤差の振る舞いが上記の制約と直接関係することを示したものであり,この制約が特異モデルの性質を特徴付ける上で本質的であることが明らかとなった.また,この結果に基づき,ガウシアン素子の学習において,幅パラメータの推定値はいくらでも小さくなりうることが示された.これは,経験的に知られていた事実であり,正則化の導入の根拠となるものである.したがって,本研究では,それに対する理論的証証拠を与えたことになる.この結果は,現在,Neural Netwrorks誌に投稿中である.多層パーセプトロンを含む一般的な場合についてのモデル選択規準については,まだ,研究中であるが,パラメトリックな基底関数の線形結合で表される比較的単純なモデルについては,縮小推定の下でのモデル選択規準を与え,それが強い意味での選択の一致性をもつことを示した.この結果は,Journal of Statistical Planning and Inferenceに掲載された.また,同じモデルに対する縮小推定の下での学習誤差・汎化誤差の期待値の評価については,IEICE Transactionに投稿中である.