モジュール構造ニューラルネットワークの学習過程に関する研究

点击翻译按钮获取中文摘要

ニューラルネットワーク学習における計算量の膨大さ、極小値問題などを解決する上でモジュール構造は重要性である。特に複数のモジュール間でのタスク分割を自動的に学習することは重要である。図形の形、大きさ、位置の各々に対応するモジュールが、忘却付き構造学習により自動的に形成されることを簡単な図形を例として平成4年度に示した。しかしこの汎化能力が低いことが判明した。すなわち外見上はタスク分割がなされているが、基礎となる入力特徴が、特に形に関して適切ではない。そこで形に関しては特徴抽出細胞を先験的に与え、大きさ、位置に関しては先験的情報を与えることなく形の認識を行い、タスクの自動分割に関する実験を行った。視覚タスクとしては、8X8のメッシュ上の図形の形、大きさ、位置の認識である。図形の種類としては正方形、中抜き正方形、左向き三角形、右向き三角形の4種類を、大きさとしては8種類を、位置としては横方向に4種類、縦方向に4種類を用意した。14種類の形の特徴抽出細胞をすべての場所に配置し、各特徴抽出細胞のうち一個でも発火すれば当該特徴が存在するという場所不変の認識を行った。忘却付き構造学習による実験の結果、形、大きさ、位置の各々でモジュールが形成されタスクの自動分割が実現し、汎化能力も高い。誤差逆伝播学習の場合にはモジュール構造すら出現しない。本年は汎化能力を重視したタスクの自動分割を中心的に行ったため、当初計画の中でやり残したものも出てきた。しかし、先験的特徴抽出細胞を併せ用いたモジュール構造ネットワークの学習は重要性の高い課題であり、やむを得ないと考えている。特徴抽出細胞自体を学習するというより魅力的な課題も残されている。