ニューラルネットワークにおける学習過程のカオス力学的研究

本研究では、ニューラルネットワークによる時系列の学習過程を、ネットワークの結合荷重を変数とする非線形力学系として捉え、学習の最適状態への収束性を解析的に検討した。得られた成果を以下に要約する。(1)離散および連続力学系から生成される時系列の学習収束条件を、結合荷重を変数とする力学系の不動点の安定性として解析し、学習される時系列が周期的、概周期的、カオス的な場合のそれぞれに対して最適状態への収束条件を導出した。(2)カオス時系列を学習する場合は不動点近傍での線形近似解析が一般には成立せず、学習の収束問題は本質的に非線形であることを明確にした。(3)線形近似解析が成立しない学習系の具体例として、線形近似系の安定性を保証する法線リアプノフ指数が負であっても最適状態を表わす不動点がリアプノフの意味では安定にはならず、riddled basinと呼ばれる非常に複雑な引力圏を持ったアトラクタとなるものを構成し、その存在証明を与えた。ニューラルネットワークによる時系列の学習の収束性については、従来、確率的な解析しかなされていなかったが、本研究において力学系の理論を適用することにより厳密な収束条件を与えることができた。また、カオス時系列の学習収束条件はカオス的外力に駆動された非自律系の不動点の安定条件であり、これはカオスの工学的応用のための鍵を握る重要な性質として注目されている「カオスの同期現象」の安定条件と同型になる。このように、本研究の成果はニューラルネットワークによる時系列学習の基礎理論としてのみならず、カオスの応用という観点からも重要な知見を与えている。

本研究では、ニューラルネットワークによる時系列の学習過程を、ネットワークの結合荷重を変数とする非線形力学系として捉え、学習の最適状態への収束性を解析的に検討した。得られた成果を以下に要約する。(1)離散および連続力学系から生成される時系列の学習収束条件を、結合荷重を変数とする力学系の不動点の安定性として解析し、学習される時系列が周期的、概周期的、カオス的な場合のそれぞれに対して最適状態への収束条件を導出した。(2)カオス時系列を学習する場合は不動点近傍での線形近似解析が一般には成立せず、学習の収束問題は本質的に非線形であることを明確にした。(3)線形近似解析が成立しない学習系の具体例として、線形近似系の安定性を保証する法線リアプノフ指数が負であっても最適状態を表わす不動点がリアプノフの意味では安定にはならず、riddled basinと呼ばれる非常に複雑な引力圏を持ったアトラクタとなるものを構成し、その存在証明を与えた。ニューラルネットワークによる時系列の学習の収束性については、従来、確率的な解析しかなされていなかったが、本研究において力学系の理論を適用することにより厳密な収束条件を与えることができた。また、カオス時系列の学習収束条件はカオス的外力に駆動された非自律系の不動点の安定条件であり、これはカオスの工学的応用のための鍵を握る重要な性質として注目されている「カオスの同期現象」の安定条件と同型になる。このように、本研究の成果はニューラルネットワークによる時系列学習の基礎理論としてのみならず、カオスの応用という観点からも重要な知見を与えている。