実用的学習速度を達成する新学習則の開発

点击翻译按钮获取中文摘要

本申請研究の目的は、実際的な規模のニューラルネットワークの学習において、実用に耐えうる学習速度を得ることのできる学習アルゴリズムを開発する事である。本研究における高速学習の基本原理は、私が開発したLocal Feature Learning Algorithmであるが、この方式には上記目的で述べたように、実用的な問題に適用出来るように拡張することが必要である。初年度は、多次元から1次元への関数学習へのLocal Feature Learning Algorithmの適用ついては、人間がスクロールする画面上でマウスを動かし、その軌跡から、将来マウスが通るべき経路を予測する問題を設定し検討を行い、多次元から1次元への関数学習問題としての検討を行い、多次元から1次元への学習においての効果を確認する事が出来た。この成果を元に最終年度である今年度は、Local Feature Leaming Algorithmが目的関数の高次の微分情報を利用することで学習の高速化を行っているが、入力を多次元化したこの問題では、その微分情報を正確に計算するには、非常に多くの計算量を必要とするが、本研究では、データ点として与えられる任意の一方向に対してのみこの微分値に相当する変化量を利用することでの効果を実験的な手法検討を昨年度に引き続き行った。その結果、多次元入力・多次元出力でも効果が現れることが確認できた。また、更なる高速学習を目指すために、Local Feature Learning Algorithmに使われるパラメータの動的な変更についての検討を昨年度に引き続き行った。パラメータの切り替えのタイミングについては効果的なスケジューリング則を得るところまでは到達できなかった。しかしながら、多次元から多次元への学習において計算量の非常にかかる正確な微分情報を計算せずとも、Local Feature Learning Algorithmを適用することで高速化が可能であることから、実用化へ一歩近づいたものと思われる。