大域的な収束性と汎化能力を保証する多層人工神経網の新しい学習方式に関する研究

点击翻译按钮获取中文摘要

多層人工神経回路網は、人間の脳神経系のモデリングに基づいており、高度並列分散構造を有する。特に適応学習、自己組織能力に優れており、任意の非線形情報処理系を実現することができる、という特性を有している。このため、高次情報処理を実現するに向けての新しいパラダイスとして、注目されている。しかし、現在最も広く利用されている誤差逆伝搬法などの学習方法では、局所極小解しか得られず、大域的な最適解を見いだすことができない。人工神経回路網の教師付き学習における局所極小解問題を解決するために、ランダム摂動を導入するSimulated Annealing法や、探索領域を細分化する方法が提案されているが、多層神経回路網の学習誤差曲面は一般に非常に複雑な形状をしており、大域最適値がしばしば狭くて急峻な谷底に存在するため、ランダムサーチ点が大域最適値に当たる確率は非常に低く、また、分割法を用いた場合は、非常に小さな部分領域まで細分化せねばならない。従って、大域最適値を見つけるために、非現実な計算時間を必要とする。本研究は、探索領域をコンパクトな多様体に変換することにより、任意C^1非線形汎関数の大域最小化理論を構築し、有限回探索で大域最適解に収束する層状神経回路網の新しい学習スキームを開発している。まず許容区域を、境界をスムーズに張り合わせることによって、境界のないコンパクトな閉微分多様体、具体的には例えばn次元のトーラスへ変換する。このような多様体の上で定義された任意C^1クラスの汎関数の勾配ベクトル場のとそのフローの微分位相幾何的な構造に基づき、任意の特異点を解消し、それ以外の特異転集合と大域的な微分特性を保存する“マジック・ブラッシング"法、及びコンパクトな多様体上のすべての極値点が勾配フローによって連結されていることを利用し、次々と新しい局所最適解を見つける“ローリングストーン法"という新しい手法を提案している。上記多様体の上で、これらの手法を繰り返すことにより、ベクトル場の系列を定義し、これらのベクトル場のフローに従う有限回の探索で大域最適解へ収束することが保証される。従って、本手法の適用により、多層人工神経回路編における教師付き学習の能率を大幅に向上させ、能率的な画像及びパターン認識方式を実現がさらに広く応用されることが期待できる。