ニューラルネットワークによるオンライン学習の最適化

1. 一般的なD次元空間に於ける、任意の確率分布のオンライン学習(学習用の例題が順次与えられる学習)の最適化を、場の理論的な観点から解明した。確率分布の学習は、ニューラル・ネットワークによる教師あり学習,教師なし学習を含む、最も一般的で重要な問題である。私は、学習用の例題数Nを観測の運動量スケールと見なす事により、繰り込み群の手法を用いて、学習アルゴリズムを導出した。また、そのアルゴリズムの最適性の証明に成功した。最適な学習アルゴリズムを導く為には、例題数Nに応じて系の自由度をコントロールする事が重要であるが、確率分布のオンライン学習では、データを観測する空間解像度を例題数Nの(-D)分の1乗に比例させて変化させれば良いという重要な結果を導いた。2. 対象である確率分布が、平行,回転移動や連続的な変形をした場合にも、互いに同一であると認識可能な学習アルゴリズムを導出した。これは第一の研究結果に、"一般共変性"という対称性を取り入れる事により実現され、アルゴリズムの最適性は同様に証明される。この成果は、テンポの変化した音声データや、連続変形した画像データの認識を可能にする、非常に一般的なものである。またこれは、座標系など確率分布の記述法に依存しない、"情報"の持つ本来の性質を尊重した学習アルゴリズムである。3. 学習対象である確率分布が、ある時刻に突然変化しても対応可能な、最適なオンライン学習アルゴリズムを導出した。ここでは、確率分布相互の関数空間内での距離を、逐次観測する方法を用い、大きな揺らぎのある観測量から、確率関数の変化を抽出する事に成功した。また数値シミュレーションにより、1次元空間に於けるアルゴリズムの有効性を確認した。

1. 一般的なD次元空間に於ける、任意の確率分布のオンライン学習(学習用の例題が順次与えられる学習)の最適化を、場の理論的な観点から解明した。確率分布の学習は、ニューラル・ネットワークによる教師あり学習,教師なし学習を含む、最も一般的で重要な問題である。私は、学習用の例題数Nを観測の運動量スケールと見なす事により、繰り込み群の手法を用いて、学習アルゴリズムを導出した。また、そのアルゴリズムの最適性の証明に成功した。最適な学習アルゴリズムを導く為には、例題数Nに応じて系の自由度をコントロールする事が重要であるが、確率分布のオンライン学習では、データを観測する空間解像度を例題数Nの(-D)分の1乗に比例させて変化させれば良いという重要な結果を導いた。2. 対象である確率分布が、平行,回転移動や連続的な変形をした場合にも、互いに同一であると認識可能な学習アルゴリズムを導出した。これは第一の研究結果に、"一般共変性"という対称性を取り入れる事により実現され、アルゴリズムの最適性は同様に証明される。この成果は、テンポの変化した音声データや、連続変形した画像データの認識を可能にする、非常に一般的なものである。またこれは、座標系など確率分布の記述法に依存しない、"情報"の持つ本来の性質を尊重した学習アルゴリズムである。3. 学習対象である確率分布が、ある時刻に突然変化しても対応可能な、最適なオンライン学習アルゴリズムを導出した。ここでは、確率分布相互の関数空間内での距離を、逐次観測する方法を用い、大きな揺らぎのある観測量から、確率関数の変化を抽出する事に成功した。また数値シミュレーションにより、1次元空間に於けるアルゴリズムの有効性を確認した。