階層型ニューラルネットワーク統計的性質に関する研究

分层神经网络统计特性研究

• 批准号: 11780170
• 负责人: 萩原 克幸
• 金额: $ 1.47万
• 依托单位: Mie University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-11780170/
• 关键词: 階層型ニューラルネットワーク; 識別可能性; 最小二乗推定; 学習誤差; 汎化誤差; 極値理論; ε-covering; Radial Basis Functionネットワーク; 非線形回帰モデル; モデル選択規準

階層型ニューラルネットワークが識別可能性を失う場合の統計的性質として、現在までに、二乗誤差規範の下で、データを正規雑音列とした場合について、学習誤差の期待値の上界と汎化誤差の期待値の下界および確率的な意味での学習誤差の上界と汎化誤差の下界が、Hagiwara(2000)により漸近的な意味で得られていた。一般的な最尤推定の場合については、Fukumizu(2001)が学習誤差の上界の確率的オーダーを導いている。しかしながら、最小二乗推定あるいは最尤推定の下での学習誤差および汎化誤差の期待値のオーダーは明らかにされていなかった。本研究では、平均値パラメータを学習データの入力点の集合の中で動かした場合の制約のあるGauss型動径基底関数素子について、二乗誤差規範の下で、ε-coveringの概念と極値理論を組み合わせる形で、データを正規雑音列とした場合の学習誤差と汎化誤差の期待値のオーダーおよび学習誤差と汎化誤差の確率的オーダーを漸近的な意味で導いた。通常の漸近論では、データ数をLとすると、これらのオーダーはl/Lであるが、ここで解析した制約のあるGauss型動径基底関数素子の場合、それよりも大きいオーダーであるlog(L)/Lとなることが明らかとなった。これまでに、Bayes推定の場合では、パラメータ空間のコンパクト性とネットワークの決める関数の解析性の仮定の下で、Bayes推定の意味での汎化誤差が、Watanabe(2000)により計算されている。一方、パラメータ空間のコンパクト性など、良い性質を仮定すれば、最尤推定の場合に、学習誤差がl/Lのオーダーとなることが、Watanabe(2001)およびFukumizu(2001)により示されている。本研究では、パラメータ空間のコンパクト性や関数の有界性を仮定しない場合には、学習誤差がこれより大きいオーダーとなり、パラメータ値の極限において、通常とは異なる振る舞いの生じることが確認されたことになる。

The statistical properties of the hierarchical model are: (1) the probability of recognition is missing;(2) the error norm is below;(3) the probability of recognition is missing;(4) the upper bound of the expectation of learning error;(5) the lower bound of the expectation of generalization error;(6) the lower bound of the expectation of accuracy;(7) the upper bound of the expectation of generalization error;(8) the asymptotic implication of generalization error. Fukumizu(2001) on the upper bound accuracy of learning error. The learning error and the expected value of the generalization error are the most important factors in the least squares estimation. In this study, the average value of the learning error and the expected value of the generalization error in the case of learning error and generalization error in the case of learning error and generalization error are studied. In general, the asymptotic theory is that the number of elements in the Gauss-type dynamic base is L, and L. In this case, Bayes estimation is calculated in terms of the generalization error of Bayes estimation, Watanabe(2000). A square, the space of the class, the properties of the class, the properties of the class, the In this study, the boundedness of the property relation number is determined in the case of learning error, the limit of the property relation number is determined in the case of learning error, and the normal difference is determined in the case of vibration.