反ヘブ学習によるニューラルネットの機能形成

本研究の目的は,反ヘブ学習則(及びヘブ学習則)によって,ニューラルネットにどのような情報処理機能が形成されるのかを理論的に明らかにすることである.本年度は,入力層と出力層からなる2層のニューラルネットに対して次の3通りの場合を考察した.(i)入力層から出力層への前向きの結合はヘブ学習に従い,出力層のニューロン間の結合は反ヘブ学習に従う場合.(ii)入力層から出力層への前向きの結合は1対1でかつ固定されており,出力層のニューロンの間の結合が反ヘブ学習に従う場合.(iii)入力層から出力層への前向きの結合のみが存在し,それらがヘブ学習あるいは反ヘブ学習に従う場合.これらのニューラルネットがどのような機能を獲得するかについて数学的な解析を行い,その結果,次のことが分かった.(1)(i)の場合,学習則を少し変えることにより,主成分分析,ノイズフィルタ,クラスタリングなど,種々の異なった信号処理回路が形成される.出力ニューロン間の相互結合における反ヘブ学習は,各ニューロンの機能分化に寄与する.(2)(ii)の場合には,新奇性フィルタやブラインド信号処理回路が形成される.後者の場合は,信号の非定常性が機能形成に重要な意味を持つ.(3)(iii)の場合,前向き結合が反ヘブ学習に従う場合には,Minor Component Analysisの機能が形成される.この場合については,従来のモデルを包括する一般的学習モデルを導いた.また,回路が空間的な構造を持つとき,入力の統計的性質に応じて,(空間的な意味での)ロ-パスフィルタやハイパスフィルタが形成されることが明らかになった.さらに,出力ニューロンの出力が小さい場合にはヘブ学習,大きい場合には反ヘブ学習が行われるようにすると,独立成分分析(Independent Component Analysis)と呼ばれる信号処理機能を持つようになることが分かった.この場合は,信号の持つ非ガウス性が機能形成に寄与している.

本研究の目的は,反ヘブ学習則(及びヘブ学習則)によって,ニューラルネットにどのような情報処理機能が形成されるのかを理論的に明らかにすることである.本年度は,入力層と出力層からなる2層のニューラルネットに対して次の3通りの場合を考察した.(i)入力層から出力層への前向きの結合はヘブ学習に従い,出力層のニューロン間の結合は反ヘブ学習に従う場合.(ii)入力層から出力層への前向きの結合は1対1でかつ固定されており,出力層のニューロンの間の結合が反ヘブ学習に従う場合.(iii)入力層から出力層への前向きの結合のみが存在し,それらがヘブ学習あるいは反ヘブ学習に従う場合.これらのニューラルネットがどのような機能を獲得するかについて数学的な解析を行い,その結果,次のことが分かった.(1)(i)の場合,学習則を少し変えることにより,主成分分析,ノイズフィルタ,クラスタリングなど,種々の異なった信号処理回路が形成される.出力ニューロン間の相互結合における反ヘブ学習は,各ニューロンの機能分化に寄与する.(2)(ii)の場合には,新奇性フィルタやブラインド信号処理回路が形成される.後者の場合は,信号の非定常性が機能形成に重要な意味を持つ.(3)(iii)の場合,前向き結合が反ヘブ学習に従う場合には,Minor Component Analysisの機能が形成される.この場合については,従来のモデルを包括する一般的学習モデルを導いた.また,回路が空間的な構造を持つとき,入力の統計的性質に応じて,(空間的な意味での)ロ-パスフィルタやハイパスフィルタが形成されることが明らかになった.さらに,出力ニューロンの出力が小さい場合にはヘブ学習,大きい場合には反ヘブ学習が行われるようにすると,独立成分分析(Independent Component Analysis)と呼ばれる信号処理機能を持つようになることが分かった.この場合は,信号の持つ非ガウス性が機能形成に寄与している.