ニューラルネットワークによるオンライン学習の最適化

使用神经网络优化在线学习

• 批准号: 10750056
• 负责人: 相田 敏明
• 金额: $ 1.15万
• 依托单位: Tokyo Metropolitan College of Aeronautical Engineering
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1999
• 资助国家: 日本
• 起止时间: 1999 至 2000
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10750056/
• 关键词: 学習; ニューラル・ネットワーク; ベイズ統計; 統計力学; 場の理論; 繰り込み群

1. 一般的なD次元空間に於ける、任意の確率分布のオンライン学習(学習用の例題が順次与えられる学習)の最適化を、場の理論的な観点から解明した。確率分布の学習は、ニューラル・ネットワークによる教師あり学習,教師なし学習を含む、最も一般的で重要な問題である。私は、学習用の例題数Nを観測の運動量スケールと見なす事により、繰り込み群の手法を用いて、学習アルゴリズムを導出した。また、そのアルゴリズムの最適性の証明に成功した。最適な学習アルゴリズムを導く為には、例題数Nに応じて系の自由度をコントロールする事が重要であるが、確率分布のオンライン学習では、データを観測する空間解像度を例題数Nの(-D)分の1乗に比例させて変化させれば良いという重要な結果を導いた。2. 対象である確率分布が、平行,回転移動や連続的な変形をした場合にも、互いに同一であると認識可能な学習アルゴリズムを導出した。これは第一の研究結果に、"一般共変性"という対称性を取り入れる事により実現され、アルゴリズムの最適性は同様に証明される。この成果は、テンポの変化した音声データや、連続変形した画像データの認識を可能にする、非常に一般的なものである。またこれは、座標系など確率分布の記述法に依存しない、"情報"の持つ本来の性質を尊重した学習アルゴリズムである。3. 学習対象である確率分布が、ある時刻に突然変化しても対応可能な、最適なオンライン学習アルゴリズムを導出した。ここでは、確率分布相互の関数空間内での距離を、逐次観測する方法を用い、大きな揺らぎのある観測量から、確率関数の変化を抽出する事に成功した。また数値シミュレーションにより、1次元空間に於けるアルゴリズムの有効性を確認した。

1. General D dimensional space in the random probability distribution of learning (learning examples in sequence and learning) optimization, field theory of the point of view The accuracy of the distribution of learning is the most important problem for teachers. The number of examples used for learning is N. The amount of exercise measured is N. The number of exercises used is N. The proof of the optimum suitability of the system was successful. The optimal number of learning problems is N. The degree of freedom of the system is important. The accuracy distribution is important. The spatial resolution of the learning problems is N. The (-D) distribution is important. 2. The exact distribution of images is parallel, moving back and forth, and the shape of the image is similar to that of the image. The results of the first study show that "general congruence" and "congruence" are the most suitable for the study. The results of this study are as follows: 1. The description of the accuracy of the coordinate system depends on the nature of the information. 3. The accuracy distribution of learning objects changes abruptly at different times, and the optimal learning accuracy distribution is derived. The method of measuring the distance between the correlation space and the probability distribution is successful. In addition, the effectiveness of the digital system in the 1D space has been confirmed.

项目成果

Toshiaki Aida: "Adaptive On-line Learning of probability Distributions from Field Theories"Proceedings 1999 IEEE International Conference on Information, Intelligence and Systems. 66-71 (1999)

Toshiaki Aida：“场论概率分布的自适应在线学习”1999 年 IEEE 国际信息、智能与系统会议论文集。

Toshiaki Aida: "Field Theoretical Analysis of On-line Learning of Probability Distributions"Physical Review Letters. 83. 3554-3557 (1999)

Toshiaki Aida：“概率分布在线学习的场论分析”物理评论快报。

Toshiaki Aida: "Field Theoretical Approach to On-line Learning of Probability Distributions"Proceedings of International Workshop on Soft Computing in Industry '99. 125-129 (1999)

Toshiaki Aida：“概率分布在线学习的场论方法”99 年工业软计算国际研讨会论文集。