確率的層状フィードフォーワードネットワークの統計力学的研究

平成7年度の成果相対エントロピー(カルバック測度)の最小原理を用いてデジタルユニット(ニューロン)が確率的に離散値をとる層状フィードフォーワードネットワークの学習過程を定式化した.この確立的層状フィードフォーワードネットワークの学習過程をモンテカルロシミュレーションによって調べ,確立的デジタルユニットを用いた相互対称結合ネットワークであるボルツマンマシンの学習過程と比較した.さらに決定論的なアナログユニットよりなるフィードフォーワードネットワークにバックプロパゲーションアルゴリズムを用いた学習過程と比較しそれぞれのモデルの学習能力を調べ比較した.結果として次のことが明らかになった.1.パターンに相関のない学習に対しては,バックプロパゲーションアルゴリズムを用いたアナログフィードフォーワードモデルの学習スピードは他のモデルに比べて圧倒的に早い.2.しかし,相関の強いモデルに対しては,バックプロパゲーションアルゴリズムは無力で,確立的デジタルユニットを用いたモデルが優れている.3. 2つのデジタルユニットモデルを比較した場合,簡単な問題に対してはボルツマンマシンの方が学習スピードが早い.しかし,与えられた問題が複雑になると,多くの中間層ユニットが必要になり,ボルツマンマシンでは平衡状態に達するまでに要する緩和時間が飛躍的に増大し,実用時間内に学習を終えることが困難になる.この点,確立的層状フィードフォーワードモデルではこの様な困難は生じない.以上の結果より,次世代のニューロコンピュータの設計に確立的層状フィードフフォーワードネットワークは大変有望と思われるが,現在この方面の研究はほとんど行われていない.さらに確率的層状フィードフォーワードネットワークは損失回復,汎化,最適化構造の自動構築等の能力を持っているように見える.これらは,実際の脳においても重要な能力であるが,ニューロコンピュータの設計においても必要不可欠な能力と思われる.これらの能力をモンテカルロシミュレーションによる数値計算によって現在詳しく調べている.

平成7年度の成果相対エントロピー(カルバック測度)の最小原理を用いてデジタルユニット(ニューロン)が確率的に離散値をとる層状フィードフォーワードネットワークの学習過程を定式化した.この確立的層状フィードフォーワードネットワークの学習過程をモンテカルロシミュレーションによって調べ,確立的デジタルユニットを用いた相互対称結合ネットワークであるボルツマンマシンの学習過程と比較した.さらに決定論的なアナログユニットよりなるフィードフォーワードネットワークにバックプロパゲーションアルゴリズムを用いた学習過程と比較しそれぞれのモデルの学習能力を調べ比較した.結果として次のことが明らかになった.1.パターンに相関のない学習に対しては,バックプロパゲーションアルゴリズムを用いたアナログフィードフォーワードモデルの学習スピードは他のモデルに比べて圧倒的に早い.2.しかし,相関の強いモデルに対しては,バックプロパゲーションアルゴリズムは無力で,確立的デジタルユニットを用いたモデルが優れている.3. 2つのデジタルユニットモデルを比較した場合,簡単な問題に対してはボルツマンマシンの方が学習スピードが早い.しかし,与えられた問題が複雑になると,多くの中間層ユニットが必要になり,ボルツマンマシンでは平衡状態に達するまでに要する緩和時間が飛躍的に増大し,実用時間内に学習を終えることが困難になる.この点,確立的層状フィードフォーワードモデルではこの様な困難は生じない.以上の結果より,次世代のニューロコンピュータの設計に確立的層状フィードフフォーワードネットワークは大変有望と思われるが,現在この方面の研究はほとんど行われていない.さらに確率的層状フィードフォーワードネットワークは損失回復,汎化,最適化構造の自動構築等の能力を持っているように見える.これらは,実際の脳においても重要な能力であるが,ニューロコンピュータの設計においても必要不可欠な能力と思われる.これらの能力をモンテカルロシミュレーションによる数値計算によって現在詳しく調べている.