ニューラルネットワーク型非線形システムの設計及び実装に関する研究

点击翻译按钮获取中文摘要

本年度は、主に以下の二つの研究を行った。一つは、非線形回帰のための効率的分割法の収束性解析である。大量の訓練サンプルを扱う場合、Support Vector Machine(SVM)では大規模な凸2次計画問題を解かねばならず、これが学習時間の増大を招き、最悪の場合、求解すら困難になってしまう。この問題を解決するために、分割法が広く用いられている。分割法では、大規模凸二次計画問題が一連の小規模凸二次計画問題に分割され、各小規模問題は元の問題よりもずっと高速に解けるため、全体の計算時間も短くなる。去年の研究では、非線形回帰問題に対するSequential Minimal Optimization (SMO)という分割法の開発と収束性証明をした。今年は、一般的な分割法を考え、伝統的な大域収束定理により、FlakeとLawrenceによって定式化された凸二次計画問題に対する分割法が有限回の反復で停止することを証明した。もう一つは、SVMの分割法におけるWorking Setの選択である。分割法では、小規模最適化問題を繰り返し解くことによって、元の最適化問題の解を求める。元の最適化問題の変数の一部を取り、ほかの変数を固定するのはWorking Setの選択という。分割法の収束のスピードがWorking Setの選び方に大変依存する。従来は、最急降下法に基づいて選択する。これは、解の収束が遅いという欠点がある。本研究では、この欠点を克服するために生まれた共役勾配法を使っていた。理論的には全ての探索方向が直交するので、制約なしの最小化問題を解く際、探索空間の次元数の繰り返しで最小値を求めることができるという利点がある。実験では、大規模なデータを使い、共役勾配法の有効性を検証した。