識別不能性を持つ非正則統計モデルの推定理論に関する研究

不可分辨的不规则统计模型估计理论研究

• 批准号: 13780181
• 负责人: 福水 健次
• 金额: $ 1.54万
• 依托单位: The Institute of Statistical Mathematics
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2001
• 资助国家: 日本
• 起止时间: 2001 至 2002
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-13780181/
• 关键词: 識別不能性; 比正則モデル; 統計的推定; 尤度比; ニューラルネット; 混合モデル; 統計的漸近理論

本年度の研究ではニューラルネットやある種のミクスチャモデルのように,尤度比検定統計量が漸近的に発散するようなモデルに対し,発散の十分条件と,サンプル数に対する漸近オーダーに関して研究を行った。その主な結果として,以下の3つの理論的結果を得た。第一に,局所錐型モデルの定式化を用いてモデルの特異点における接錐(スコア関数の族)を考えることにより,接錐が無限個のほとんど無相関な関数を含むことが,尤度比検定統計量の漸近的発散の十分条件になっていることを明らかにした。この十分条件は判定が容易であるとともに,ニューラルネットや正規混合モデルに対して従来個別に知られていた事実に統一的な視点を与えている。第二に,ニューラルネットの三層パーセプトロンモデルに関し,真の関数を表現するのに2個以上余分な中間素子を持つモデルを用いて最尤推定を行った場合,その尤度比検定統計量が少なくともlog n(nはサンプル数)以上のオーダーを持つことを示した。これは従来,ガウスノイズの強い仮定のもとに知られていた結果を,ロジスティックモデルなどを含む非常に緩い仮定のもとで一般化したものである。第三に,ガウスノイズあるいは二項分布をノイズモデルに仮定したとき,有限のVC次元を持つ有界な回帰関数族のモデルに対して,尤度比検定統計量の漸近オーダーがlog n以下になることを示した。第二,第三の結果を合わせると,三層パーセプトロンで冗長な中間素子を2個以上含む場合には,尤度比検定統計量は丁度log nの漸近オーダーを持つことがわかる。以上の結果はニューラルネットなどの複雑な構造をもつモデルにおいて冗長なサイズを用いると,データへの当てはまりが極めて強いことを意味しており,正則化項ないしはペナルティ項の導入により,パラメータの過度なばらつきを防止する工夫がとりわけ重要であることを理論的に示している。

This year's research is conducted on the asymptotic dispersion of statistical quantities, especially the asymptotic dispersion of statistical quantities, and the asymptotic dispersion of statistical quantities. The results of the following three theories are obtained. The first is the formalization of the local cone type. The special point of the cone is the special point of the cone (the family of the correlation number). The infinite number of the cone is the independent correlation number. This condition is easy to determine. It is easy to determine whether there is a normal mixture. It is easy to determine whether there is a unified viewpoint. Second, when there are more than two residual elements in the three-layer matrix of the matrix, the most probable estimation is performed, and the most probable estimation is performed, the most probable estimation is performed, and the most probable estimation is performed, and the least probable estimation is performed when the log n(n) or more of the matrix is performed. This is the first time that we've seen this. Third, the binomial distribution is stable, and the finite VC dimension is stable, especially when the asymptotic value of the statistical quantity is less than log n. Second, the third results are combined, the third layer is long, the intermediate element is more than 2, especially the ratio is fixed, the log n is asymptotic, the ratio is stable. The above results indicate that the regularization term is important for the introduction of complex structure and the prevention of excessive structure.

项目成果

K.Fukumizu: "Geometry of neural networks : Natural gradient for learning"Neuro-informatics and Neural Modelling. 731-769 (2001)

K.Fukumizu：“神经网络的几何：学习的自然梯度”神经信息学和神经建模。

K.Fukumizu: "Asymptotic Theory of Locally conic Models and its Application to Multilayer Neunal Networks"Knowledge-Based Intelligent Information Engineering Systems & Allied Technologies. 2. 1570-1574 (2001)

K.Fukumizu：“局部圆锥模型的渐近理论及其在多层神经网络中的应用”基于知识的智能信息工程系统

K.Fukumizu: "Geometry of neural networks and models with singularities"AIP Conference Proceedings 553 : Disordered and Complex Systems. 117-122 (2001)

K.Fukumizu：“神经网络的几何和具有奇点的模型”AIP 会议记录 553：无序和复杂系统。