パラメータ空間の学習停滞領域を利用した学習アルゴリズムの研究

採用第１年度までの研究では，パラメータと入出力が全て実数の多層パーセプトロン（MLP）の探索法として特異階段追跡法（SSF）を提案し，その高い求解性能を維持しつつ高速化したSSF1.3と，更に高速化したSSF1.4を提案した．採用第２年度の研究では，パラメータと入出力が全て複素数である複素MLPにSSFの原理を応用し，高速かつ安定して良質の解を得る複素MLPの探索法を提案すること，また，その有効性を評価し，研究成果を国内・国外の学会で発表することを計画とした．計画した通り，採用第２年度の研究では，SSF1.3とSSF1.4を複素MLPに拡張した複素特異階段追跡法（C-SSF）1.1, 1.3を提案し，これらの探索法を計算機実験にて有効性を示した．そして，これら研究結果を国際会議IJCNNとNCTAにて発表した．また，カオス的な挙動を示す，ローレンツ方程式と２重振り子から生成される時系列データの予測問題を用いて，SSF1.4とC-SSF1.3を評価した．どちらのデータを用いた実験でも，従来の，初期パラメータを乱数で設定しBPやBPQで学習する方法では隠れユニットを増加しても訓練誤差が減少しないことがあり，良質の解を得ることができなかった．しかし，SSF1.4とC-SSF1.3では訓練誤差が単調減少し，良質の解が得られた．また，どちらの実験においても１ステップ先を予測するようにMLPを学習したが，ローレンツ方程式を用いた実験において，SSF1.4とC-SSF1.3では200ステップ先まで順に予測できた．２重振り子を用いた実験ではSSF1.4により得られた解では10ステップ先までの予測はうまくできなかったが，C-SSF1.3により得られた解ではうまく予測できた．このカオス時系列の研究結果をまとめた論文を2016年7月に開催される国際会議IJCNNで研究発表を行う予定である．

採用第１年度までの研究では，パラメータと入出力が全て実数の多層パーセプトロン（MLP）の探索法として特異階段追跡法（SSF）を提案し，その高い求解性能を維持しつつ高速化したSSF1.3と，更に高速化したSSF1.4を提案した．採用第２年度の研究では，パラメータと入出力が全て複素数である複素MLPにSSFの原理を応用し，高速かつ安定して良質の解を得る複素MLPの探索法を提案すること，また，その有効性を評価し，研究成果を国内・国外の学会で発表することを計画とした．計画した通り，採用第２年度の研究では，SSF1.3とSSF1.4を複素MLPに拡張した複素特異階段追跡法（C-SSF）1.1, 1.3を提案し，これらの探索法を計算機実験にて有効性を示した．そして，これら研究結果を国際会議IJCNNとNCTAにて発表した．また，カオス的な挙動を示す，ローレンツ方程式と２重振り子から生成される時系列データの予測問題を用いて，SSF1.4とC-SSF1.3を評価した．どちらのデータを用いた実験でも，従来の，初期パラメータを乱数で設定しBPやBPQで学習する方法では隠れユニットを増加しても訓練誤差が減少しないことがあり，良質の解を得ることができなかった．しかし，SSF1.4とC-SSF1.3では訓練誤差が単調減少し，良質の解が得られた．また，どちらの実験においても１ステップ先を予測するようにMLPを学習したが，ローレンツ方程式を用いた実験において，SSF1.4とC-SSF1.3では200ステップ先まで順に予測できた．２重振り子を用いた実験ではSSF1.4により得られた解では10ステップ先までの予測はうまくできなかったが，C-SSF1.3により得られた解ではうまく予測できた．このカオス時系列の研究結果をまとめた論文を2016年7月に開催される国際会議IJCNNで研究発表を行う予定である．