多層ニューラルネットによる情報集約機能の基礎的研究

点击翻译按钮获取中文摘要

本研究は多層ニューラネネットワーク(Multilayer Neural Network MNNと略記)による情報集約機能に関連する諸性質を解明し、画像処理への応用の可能性を明らかにすることを目指した。本年度は、画像処理におけるニューラルネっト応用の現状を調査し、そらに、MNNをベクトル空間の写像と見るとこ実現できる写像全体の性質を、次の手順で調ベた。(1)MNNの構造(素子の特性、素子数、層数)を固定して、パラメータ(層間結合の重み、素子のしきい値)を適当な値に設定し、入力層の出力値を変化させたときに出力層に現れる超曲面(多様体)を考える。(2)パラメータを変えて得られる超曲面の族は、この構造のMNNが実現し得る写像の集合を表す意味で、ある構造のMNN全体の能力を表すと見なす。(3)超曲面の族を特徴付ける特徴量を導入してMNNの構成の比較を行う。特徴量として、さしあたり、全曲率を用い、各超曲面の全曲率を族の全体にわたって集計したときの統計量(平均値、分散)に注目する。(4)さらに、MNNの構造を変えたときの上記の特徴量の変化を調ベる。これを2層,3層,4層の各MNNに対して適用し、以下の結果を得た。(a)各層ユニット数の増加に対して全曲率の平均はほぼ直線的に増加する。(b)層数の増加に対しても、全曲率の平均は同様に増加の傾向を示す。(c)4層のMNNにおいて、中間層のユニット数はそれぞれ異なっているが、総パラメータ数が等しくなる構成を比較したところ、学習時の計算量の点からは同等であるが、全曲率の平均および分散は入力層に近い方の中間層素子数が大きいMNNの方がより高い値を示した。すなわち、MNNの能力の点からは入力層に近い層のユニット数を大きく取る方が有利である。全曲率に加えて、目的に応じて他の特徴量を組み合わせることにより、MNNの能力のさらに詳細な解析が可能となる。