階層型ニューラルネットワーク統計的性質に関する研究

点击翻译按钮获取中文摘要

階層型ニューラルネットワークが識別可能性を失う場合の統計的性質として、現在までに、二乗誤差規範の下で、データを正規雑音列とした場合について、学習誤差の期待値の上界と汎化誤差の期待値の下界および確率的な意味での学習誤差の上界と汎化誤差の下界が、Hagiwara(2000)により漸近的な意味で得られていた。一般的な最尤推定の場合については、Fukumizu(2001)が学習誤差の上界の確率的オーダーを導いている。しかしながら、最小二乗推定あるいは最尤推定の下での学習誤差および汎化誤差の期待値のオーダーは明らかにされていなかった。本研究では、平均値パラメータを学習データの入力点の集合の中で動かした場合の制約のあるGauss型動径基底関数素子について、二乗誤差規範の下で、ε-coveringの概念と極値理論を組み合わせる形で、データを正規雑音列とした場合の学習誤差と汎化誤差の期待値のオーダーおよび学習誤差と汎化誤差の確率的オーダーを漸近的な意味で導いた。通常の漸近論では、データ数をLとすると、これらのオーダーはl/Lであるが、ここで解析した制約のあるGauss型動径基底関数素子の場合、それよりも大きいオーダーであるlog(L)/Lとなることが明らかとなった。これまでに、Bayes推定の場合では、パラメータ空間のコンパクト性とネットワークの決める関数の解析性の仮定の下で、Bayes推定の意味での汎化誤差が、Watanabe(2000)により計算されている。一方、パラメータ空間のコンパクト性など、良い性質を仮定すれば、最尤推定の場合に、学習誤差がl/Lのオーダーとなることが、Watanabe(2001)およびFukumizu(2001)により示されている。本研究では、パラメータ空間のコンパクト性や関数の有界性を仮定しない場合には、学習誤差がこれより大きいオーダーとなり、パラメータ値の極限において、通常とは異なる振る舞いの生じることが確認されたことになる。