符号理論による学習機械の記憶容量と汎化能力に関する研究

利用编码理论研究学习机的记忆能力和泛化能力

• 批准号: 12780262
• 负责人: 須鎗 弘樹
• 金额: $ 1.54万
• 依托单位: Chiba University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 2000
• 资助国家: 日本
• 起止时间: 2000 至 2001
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-12780262/
• 关键词: ニューラルネットワーク; 多層パーセプトロン; 学習曲線; コミッティマシン; パリティマシン; 符号空間; 重み; サリスエントロピー; パーセプトロン; 平均汎化能力; 完全汎化; アニーリング近似

昨年度に引き続き,パーセプトロンの学習曲線の研究の延長線上として,多層パーセプトロンの非常に特別な場合であるコミッティマシンとパリティマシンの学習曲線について,昨年度と同様の解析を進めた.しかしながら,これらの特殊なパーセプトロンの場合には,研究代表者の手法では,符号空間との対応関係がうまく得られず,実際の数値計算と理論値とが大きく異なることが分かった.むしろ,それら数値計算の結果は,統計力学で使われるレプリカ法による結果ときれいな一致が見られることがわかった.これは,レプリカ法による定式化では,コミッティマシンやパリティマシンの対称性などをうまく取り入れられることが大きな要因であり,今のところ,これらの特殊な多層パーセプトロンには,符号空間との良好な対応関係が得られていない.また,同様に,サポートベクターマシンに,本手法を応用したが,VC次元で与えられる汎化誤差と符号間の距離とは,きれいな対応関係があることがわかった.つまり,与えられたパターン間の距離が大きくなるほど,識別能力は上がり,汎化誤差が小さくなる.それに伴い,記憶容量は小さくなる.これらの結果は,符号理論から言えば,非常に自然な結果である.以上の観点から,研究代表者の手法は,必ずしもレプリカ法などよりも優位とは言えないが,パーセプトロンなどいくつかの学習機械とのきれいな対応関係が見られる.これら汎化誤差などの性能限界を情報理論の通信路符号化定理に対応させて,エントロピーや通信路容量の観点から解析できないか,研究中である.特に,近年,統計力学の分野においてさかんに研究されているサリスエントロピーなどは,レプリカ法などによる手法との親和性が非常に高いことが予想される.これらに関しては,今後より詳細に調べていく予定である.

The study of learning curve in the past year has been carried out on the wiring board, and the analysis of learning curve in the past year has been carried out on the special occasion of multi-layer. In this case, the method of studying the representative, the symbol space and the corresponding relationship are obtained, and the numerical value is calculated and the theoretical value is obtained. The results of numerical calculation are consistent with those of statistical mechanics. This is a special multi-layer structure with a good relationship between symbol spaces and the corresponding properties. This method is used in the same way,VC dimension and generalization error and distance between symbols. The distance between, When you are surrounded, the memory capacity is small. The result of, the theory of symbols, is a very natural result. The above points are pointed out, the research representative's method is opposite, must be included in the law, the optimal position, the opposite words, the learning mechanism, the opposite relationship. The generalization error and the performance bound of the information theory and the symbolization theorem of the communication path are analyzed. In particular, in recent years, the study of statistical mechanics has been carried out in a very high degree of compatibility. This is the first time I've ever been to a hotel.

项目成果

Y.Kamitani,H.Suyari and I.Matsuba: "1/f fluctuation derived from the coarse-graining method for a neural network model"the Proceedings of ICONIP2000. (CDROM). (2000)

Y.Kamitani、H.Suyari 和 I.Matsuba：“1/f 波动源自神经网络模型的粗粒度方法”ICONIP2000 论文集。

神谷良信, 須鎗弘樹, 松葉育雄: "ニューラルネットワークモデルの空間的粗視化による1/fスペクトルの導出"電子情報通信学会論文誌(A). J84-A. 1148-1156 (2001)

Yoshinobu Kamiya、Hiroki Sugurai、Ikuo Matsuba：“通过神经网络模型的空间粗粒度推导 1/f 谱”，电子、信息和通信工程师学会会刊 (A) 1148-1156。 ）

H.Suyari, I.Matsuba: "On Rigorous Derivation of Learning Curves"the Proceedings of IJCNN2001. (CDROM). (2001)

H.Suyari，I.Matsuba：“论学习曲线的严格推导”IJCNN2001 论文集。

H.Suyari and I.Matsuba: "On the information theoretic analysis of a perception with binary weights"Proceedings of workshop on statistical-mechanical approach to intelligent information processing. 27-27 (2000)

H.Suyari 和 I.Matsuba：“关于二进制权重感知的信息理论分析”智能信息处理统计机械方法研讨会论文集。

H.Suyari, I.Matsuba: "On the information theoretic analysis of a perceptron with binary weight"Proceedings of workshop on statistical-mechanical approach. 27-27 (2000)

H.Suyari、I.Matsuba：“关于二进制权重感知器的信息理论分析”统计机械方法研讨会论文集。