階層型ニューラルネットワークの大域的収束を保証した高速学習アルゴリズム

点击翻译按钮获取中文摘要

ニューラルネットワークの学習アルゴリズムとしては誤差逆伝播アルゴリズムが著名であり,広く使用されている.しかし,誤差逆伝播アルゴリズムによる学習においては,そのスピード(収束速度)ならびに大域的収束が保証されていないという点で問題が残されている.これら2つの問題点は,誤差逆伝播アルゴリズムが最急降下アルゴリズムを基礎としていることに由来し,ネットワーク規模の増大と共に加速的に顕在化する.従って,大規模ニューラルネットワークを構築していく上で,大域的収束性の保証された高速学習アルゴリズムの開発は最も重要な課題の一つである.本研究では,階層型ニューラルネットワークの学習アルゴリズムとして,大域的収束性を保証した新しい高速アルゴリズムを提案し,その効果を実証している.本研究で提案した学習アルゴリズムは,「誤差関数ならびにそのグラジェントに対するリプシッツ条件を用いた探索領域限定学習法」と呼ぶものであり,大域的収束を保証しつつ学習の高速化を実現している.また,最急降下アルゴリズムを併用した簡略型のアルゴリズムも提案しており,従来の最急降下アルゴリズムに比べて格段に優れた特性を得ている.更に,階層型ニューラルネットワークの学習における誤差関数とそのグラジェントに対するリプシッツ定数の評価方法を確立している.以上の方法により,3層のニューラルネットワークにおいて,誤差逆伝播アルゴリズムに比べて,10〜20倍程度の高速化が可能となることを確認している.