自律的ネットワーク生成機能を有する高速学習ニューラルネットワークの研究

ニューラルネットワークの研究は、人間の脳を模擬して今までの方式・技術とは異なる高度な知的情報処理機能を実現させようするものである。人間の脳の機能の中でも記憶機能は、判断、思考、推論、想像などの基本となる重要な機能である。本研究では、記憶機能のための連想記憶ニューラルネットワークの構造を自律的に生成する研究を行った。研究代表者らはすでに、これまでの連想記憶モデルの記憶容量を大きく増大させるアルゴリズムを提案している。しかし、例えば代表的な双方向連想メモリ(:BAM:Bidirectional Associative Memory)において、2つの層のニューロン数をそれぞれNとすると、ネットワーク内の結合重みの総数はN^2になってしまう。本研究では、BAM型連想記憶モデルにおける効果的な結合重み削除アルゴリズムを提案し、計算機シミュレーションによりその有効性を明らかにすると供に、生成されたネットワークの特性を明らかにした。まず、結合重みの削除に関しては、重みの絶対値が小さいほどその重要度も低いと考えた。具体的には、まずQuick Learming(Quick Learning for BAM)で学習を行う。それから、重みの削減、再学習を繰り返してできるだけ最小のネットワーク構造になるようなアルゴリズムを考案した。例えば50×50のBAMに50組のパターンを記憶させた場合、約40%の結合重みを削除できることがわかった。また、重みを削除した場合でも耐雑音特性の劣化は小さいことがわかった。

ニューラルネットワークの研究は、人間の脳を模擬して今までの方式・技術とは異なる高度な知的情報処理機能を実現させようするものである。人間の脳の機能の中でも記憶機能は、判断、思考、推論、想像などの基本となる重要な機能である。本研究では、記憶機能のための連想記憶ニューラルネットワークの構造を自律的に生成する研究を行った。研究代表者らはすでに、これまでの連想記憶モデルの記憶容量を大きく増大させるアルゴリズムを提案している。しかし、例えば代表的な双方向連想メモリ(:BAM:Bidirectional Associative Memory)において、2つの層のニューロン数をそれぞれNとすると、ネットワーク内の結合重みの総数はN^2になってしまう。本研究では、BAM型連想記憶モデルにおける効果的な結合重み削除アルゴリズムを提案し、計算機シミュレーションによりその有効性を明らかにすると供に、生成されたネットワークの特性を明らかにした。まず、結合重みの削除に関しては、重みの絶対値が小さいほどその重要度も低いと考えた。具体的には、まずQuick Learming(Quick Learning for BAM)で学習を行う。それから、重みの削減、再学習を繰り返してできるだけ最小のネットワーク構造になるようなアルゴリズムを考案した。例えば50×50のBAMに50組のパターンを記憶させた場合、約40%の結合重みを削除できることがわかった。また、重みを削除した場合でも耐雑音特性の劣化は小さいことがわかった。