权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

大域的な収束性と汎化能力を保証する多層人工神経網の新しい学習方式に関する研究

保证全局收敛和泛化能力的多层人工神经网络新学习方法研究

基本信息

批准号：
06650429
负责人：
趙晋輝
金额：
$ 0.7万
依托单位：
Chuo University
依托单位国家：
日本
项目类别：
Grant-in-Aid for General Scientific Research (C)
财政年份：
1994
资助国家：
日本
起止时间：
1994 至无数据
项目状态：
已结题

项目摘要

多層人工神経回路網は、人間の脳神経系のモデリングに基づいており、高度並列分散構造を有する。特に適応学習、自己組織能力に優れており、任意の非線形情報処理系を実現することができる、という特性を有している。このため、高次情報処理を実現するに向けての新しいパラダイスとして、注目されている。しかし、現在最も広く利用されている誤差逆伝搬法などの学習方法では、局所極小解しか得られず、大域的な最適解を見いだすことができない。人工神経回路網の教師付き学習における局所極小解問題を解決するために、ランダム摂動を導入するSimulated Annealing法や、探索領域を細分化する方法が提案されているが、多層神経回路網の学習誤差曲面は一般に非常に複雑な形状をしており、大域最適値がしばしば狭くて急峻な谷底に存在するため、ランダムサーチ点が大域最適値に当たる確率は非常に低く、また、分割法を用いた場合は、非常に小さな部分領域まで細分化せねばならない。従って、大域最適値を見つけるために、非現実な計算時間を必要とする。本研究は、探索領域をコンパクトな多様体に変換することにより、任意C^1非線形汎関数の大域最小化理論を構築し、有限回探索で大域最適解に収束する層状神経回路網の新しい学習スキームを開発している。まず許容区域を、境界をスムーズに張り合わせることによって、境界のないコンパクトな閉微分多様体、具体的には例えばn次元のトーラスへ変換する。このような多様体の上で定義された任意C^1クラスの汎関数の勾配ベクトル場のとそのフローの微分位相幾何的な構造に基づき、任意の特異点を解消し、それ以外の特異転集合と大域的な微分特性を保存する“マジック・ブラッシング"法、及びコンパクトな多様体上のすべての極値点が勾配フローによって連結されていることを利用し、次々と新しい局所最適解を見つける“ローリングストーン法"という新しい手法を提案している。上記多様体の上で、これらの手法を繰り返すことにより、ベクトル場の系列を定義し、これらのベクトル場のフローに従う有限回の探索で大域最適解へ収束することが保証される。従って、本手法の適用により、多層人工神経回路編における教師付き学習の能率を大幅に向上させ、能率的な画像及びパターン認識方式を実現がさらに広く応用されることが期待できる。

The multi-layered artificial God's circuit network, the human world's God's system, and the highly parallel and dispersed structure. Special characteristics include adaptability to learning, self-organizing ability, arbitrary non-linear information processing system, and arbitrary non-linear information processing system.このため, high-level information processing を実appears するに向けての新しいパラダイスとして, and attention されている.しかし, now the best も広く uses されている error inverse transfer method などのlearning method では, The smallest solution of the situation is the best solution, and the optimal solution of the large domain is the best solution. Artificial God's circuit network's teacher pays き to learn における bureau minimal solution を solution するために, ランダムも movable を introduction する Simulated Annealing method, exploration field subdivision method proposal, multi-layered gods return The learning error surface of the road network is average and very small, and the complex shape is small, and the optimal value of the large domain is narrow. There is a sharp valley bottom, and there is a point where the point is the most suitable for the large area. The accuracy rate is very low.く, また, division method を Use いた occasion は, very small さな part area まで segmentation せねばならない.従って, large area optimal value を见つけるために, non-present 実なcalculation time is necessary とする. This research explores the fields of multi-body switching and large-area minimization of arbitrary C^1 non-linear pan-pass numbers. Theoretical construction, limited loop exploration and large-domain optimal solutions are closed, and the layered divine circuit network is new and learned.まずPermissible areaを, realm をスムーズに张り合わせることによって, realm のないコンパクトな closed differential polyhedral, specific には example えばn-dimensional のトーラスへ変change する.このような多様体の上でDefinitionされたarbitrary C^1クラスの general number of coupling ベクトルfield のとそのフローのdifferential phase number What's the basis of the structure, the elimination of any singular point, the set of special special points other than the one, and the preservation of the differential characteristics of the large area "Machi"ク・ブラッシング"法、和びコンパクトな多様体上のすべての极値点が合フローによってConnect されていることを Utilize し, 々と新しい bureau's optimal solution を见つける "ローリングストーン method" という新しいtechnique を proposal している. The upper part of the multi-faceted body, the definition of the これらのtechnique, the return of the すことにより, and the series of the ベクトルfield series をし, これらのベクトル场のフローに従うlimited returnのexplorationでoptimal solution to the large domainへclosureすることがguaranteeされる.従って、This technique is applicable to the application、Multi-layered artificial divine loop system、The teacher pays きThe learning ability rate is greatly improvedさせ, no rate's portrait and びパターン way of knowing を実appears がさらに広く応用されることがlook forward to できる.