確率的層状フィードフォーワードネットワークの統計力学的研究

平成6年度の成果各ユニット(ニューロン)が確率的に離散値をとる層状フィードフォーワードネットワークの学習過程を相対エントロピー(カルバック測定)の最小原理を用いて定式化した.得られた学習則は一種のポジティブ・リンイフォースメントによるもので,目的とした出力パターンが得られたとき,中間層を含めてニューロンの状態が再生現するようにシナプス結合が強化される.また,学習則はヘップ(Hebb)項と反ヘップ項からなり,相互対称結合型ネットワークにおけるボルツマンマシン学習則と大変類似している.さらに確率的層状フィードフォーワードネットワークに分子場近似を用いると,アナログユニットによる決定論的層状フィードフォーワードネットワークが得られ,バックプロパゲーションと同等な学習則が得られた.このように,平成6年度の研究目的であった相互対称結合型ネットワークにおけるボルツマンマシンの学習則と層状フィードフォーワードネットワークにおけるバックプロパゲーション学習則をつなぐモデルが得られた.相互対称結合型ネットワークと確率的層状フィードフォーワードネットワークはニューロンの興奮の伝播において明らかに異なったネットワークであるが,与えられた入力・出力のセットをなるべく矛盾なく相互作用(シナプス結合)に埋め込む点で共通する事が理解できる.両者の類似性をさらに数値計算によって定量的に調べた.具体的には,ANDとXORの学習過程における学習曲線,シナプス結合の変化等を調べ,同一問題に対して学習が充分に進んだ後の両者のシナプス結合の相関が0.96〜0.97と非常に高いことを見つけた.さらに中間層のユニット数を増やす事により両ネットワークともに,より複雑なパターンの学習が可能となることを確認した.これらの結果は論文としてまとめJ.Rhys.Soc.Japan等に掲載予定である。相互対称型結合ネットワーク(ボルツマンマシン)と確率的層状フィードフォーワードネットワークは両者ともに損失回復,汎化,最適化構造の自動構築等の能力を持っているように見える.これらは,実際の脳においても重要な能力であるが,ニューロコンピュータの設計においても必要不可欠な能力と思われる.これらの能力を主にモンテカルロシミュレーションによる数値計算によって現在詳しく調べている.

平成6年度の成果各ユニット(ニューロン)が確率的に離散値をとる層状フィードフォーワードネットワークの学習過程を相対エントロピー(カルバック測定)の最小原理を用いて定式化した.得られた学習則は一種のポジティブ・リンイフォースメントによるもので,目的とした出力パターンが得られたとき,中間層を含めてニューロンの状態が再生現するようにシナプス結合が強化される.また,学習則はヘップ(Hebb)項と反ヘップ項からなり,相互対称結合型ネットワークにおけるボルツマンマシン学習則と大変類似している.さらに確率的層状フィードフォーワードネットワークに分子場近似を用いると,アナログユニットによる決定論的層状フィードフォーワードネットワークが得られ,バックプロパゲーションと同等な学習則が得られた.このように,平成6年度の研究目的であった相互対称結合型ネットワークにおけるボルツマンマシンの学習則と層状フィードフォーワードネットワークにおけるバックプロパゲーション学習則をつなぐモデルが得られた.相互対称結合型ネットワークと確率的層状フィードフォーワードネットワークはニューロンの興奮の伝播において明らかに異なったネットワークであるが,与えられた入力・出力のセットをなるべく矛盾なく相互作用(シナプス結合)に埋め込む点で共通する事が理解できる.両者の類似性をさらに数値計算によって定量的に調べた.具体的には,ANDとXORの学習過程における学習曲線,シナプス結合の変化等を調べ,同一問題に対して学習が充分に進んだ後の両者のシナプス結合の相関が0.96〜0.97と非常に高いことを見つけた.さらに中間層のユニット数を増やす事により両ネットワークともに,より複雑なパターンの学習が可能となることを確認した.これらの結果は論文としてまとめJ.Rhys.Soc.Japan等に掲載予定である。相互対称型結合ネットワーク(ボルツマンマシン)と確率的層状フィードフォーワードネットワークは両者ともに損失回復,汎化,最適化構造の自動構築等の能力を持っているように見える.これらは,実際の脳においても重要な能力であるが,ニューロコンピュータの設計においても必要不可欠な能力と思われる.これらの能力を主にモンテカルロシミュレーションによる数値計算によって現在詳しく調べている.