神経回路モデルに基づく学習情報処理機構の研究

基于神经回路模型的学习信息处理机制研究

• 批准号: 05650062
• 负责人: 甘利 俊一
• 金额: $ 1.28万
• 依托单位: The University of Tokyo
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for General Scientific Research (C)
• 财政年份: 1993
• 资助国家: 日本
• 起止时间: 1993 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-05650062/
• 关键词: 神経回路網; 学習曲線; 情報量規準; 汎化誤差; 訓練誤差

神経回路モデルの学習,特に最近注目を浴びているEMアルゴリズムを応用した学習に関して,甘利らが発展させてきた情報幾何学の手法を適用し,その幾何学的構造の解明を試みた.また,例題からの学習において学習能力をはかる一基準となる学習曲線に関して,従来求められているものを更に進め,情報幾何学の手法や統計的な漸近理論を応用することによってより複雑なものに関して考察を進めた.連想記憶モデルについては,構成素子として非単調な特性を持つものを用いることによって,その能力が向上することが大規模な計算機シミュレーションにより最近わかってきたが,統計的および統計力学的手法を用いてこのモデルの記憶容量の評価およびダイナミクスの特性解析を行なった.また並行して,計算機シミュレーションを行なうことにより,これらの理論解析結果の裏付けを行なった.

God 経 loop モ デ ル の learning, に recent attention を bath び て い る EM ア ル ゴ リ ズ ム を 応 with し た learning に masato し て, ganly ら が 発 exhibition さ せ て き た の gimmick を applicable し, intelligence geometry そ の geometry structure の interpret を try み た. ま た, sample か ら の learning に お い て learning ability を は か る benchmark と な る learning curve に masato し て, 従 to evaluate め ら れ て い る も の を に め, more intelligence geometry の technique や statistical な asymptotic theory を 応 with す る こ と に よ っ て よ り complex 雑 な も の に masato し て investigation を into め た. Even want to memory モ デ ル に つ い て は, constitute element child と し て non 単 adjustable な features を hold つ も の を with い る こ と に よ っ て, そ の ability が upward す る こ と が large-scale な computer シ ミ ュ レ ー シ ョ ン に よ り recently わ か っ て き た が, statistical お よ び statistical mechanics of gimmick を with い て こ の モ デ ル の memory capacity の review 価 お よ び ダ イ ナ ミ ク ス の feature line analytical を な っ た. ま た parallel し て, computer シ ミ ュ レ ー シ ョ ン を line な う こ と に よ り, こ れ ら の theoretical analytical results in pay け の を line な っ た.

项目成果

N.Murata: "Learning curves,model selection and complexity of neural networks" Advances in Neural Information Processing Systems. 5. 607-614 (1993)

N.Murata：“神经网络的学习曲线、模型选择和复杂性”神经信息处理系统的进展。

S.Amari: "Backpropagation and Stochastic Gradient Descent Method." Neurocomputing. 5. 185-196 (1993)

S.Amari：“反向传播和随机梯度下降法。”