符号理論による学習機械の記憶容量と汎化能力に関する研究

昨年度に引き続き,パーセプトロンの学習曲線の研究の延長線上として,多層パーセプトロンの非常に特別な場合であるコミッティマシンとパリティマシンの学習曲線について,昨年度と同様の解析を進めた.しかしながら,これらの特殊なパーセプトロンの場合には,研究代表者の手法では,符号空間との対応関係がうまく得られず,実際の数値計算と理論値とが大きく異なることが分かった.むしろ,それら数値計算の結果は,統計力学で使われるレプリカ法による結果ときれいな一致が見られることがわかった.これは,レプリカ法による定式化では,コミッティマシンやパリティマシンの対称性などをうまく取り入れられることが大きな要因であり,今のところ,これらの特殊な多層パーセプトロンには,符号空間との良好な対応関係が得られていない.また,同様に,サポートベクターマシンに,本手法を応用したが,VC次元で与えられる汎化誤差と符号間の距離とは,きれいな対応関係があることがわかった.つまり,与えられたパターン間の距離が大きくなるほど,識別能力は上がり,汎化誤差が小さくなる.それに伴い,記憶容量は小さくなる.これらの結果は,符号理論から言えば,非常に自然な結果である.以上の観点から,研究代表者の手法は,必ずしもレプリカ法などよりも優位とは言えないが,パーセプトロンなどいくつかの学習機械とのきれいな対応関係が見られる.これら汎化誤差などの性能限界を情報理論の通信路符号化定理に対応させて,エントロピーや通信路容量の観点から解析できないか,研究中である.特に,近年,統計力学の分野においてさかんに研究されているサリスエントロピーなどは,レプリカ法などによる手法との親和性が非常に高いことが予想される.これらに関しては,今後より詳細に調べていく予定である.

昨年度に引き続き,パーセプトロンの学習曲線の研究の延長線上として,多層パーセプトロンの非常に特別な場合であるコミッティマシンとパリティマシンの学習曲線について,昨年度と同様の解析を進めた.しかしながら,これらの特殊なパーセプトロンの場合には,研究代表者の手法では,符号空間との対応関係がうまく得られず,実際の数値計算と理論値とが大きく異なることが分かった.むしろ,それら数値計算の結果は,統計力学で使われるレプリカ法による結果ときれいな一致が見られることがわかった.これは,レプリカ法による定式化では,コミッティマシンやパリティマシンの対称性などをうまく取り入れられることが大きな要因であり,今のところ,これらの特殊な多層パーセプトロンには,符号空間との良好な対応関係が得られていない.また,同様に,サポートベクターマシンに,本手法を応用したが,VC次元で与えられる汎化誤差と符号間の距離とは,きれいな対応関係があることがわかった.つまり,与えられたパターン間の距離が大きくなるほど,識別能力は上がり,汎化誤差が小さくなる.それに伴い,記憶容量は小さくなる.これらの結果は,符号理論から言えば,非常に自然な結果である.以上の観点から,研究代表者の手法は,必ずしもレプリカ法などよりも優位とは言えないが,パーセプトロンなどいくつかの学習機械とのきれいな対応関係が見られる.これら汎化誤差などの性能限界を情報理論の通信路符号化定理に対応させて,エントロピーや通信路容量の観点から解析できないか,研究中である.特に,近年,統計力学の分野においてさかんに研究されているサリスエントロピーなどは,レプリカ法などによる手法との親和性が非常に高いことが予想される.これらに関しては,今後より詳細に調べていく予定である.