神経回路網に基づく超並列分散処理機構における耐故障性に関する研究

基于神经网络的大规模并行分布式处理机制容错研究

• 批准号: 06780247
• 负责人: 丹 康雄
• 金额: $ 0.64万
• 依托单位: Japan Advanced Institute of Science and Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1994
• 资助国家: 日本
• 起止时间: 1994 至 无数据
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-06780247/
• 关键词: ニューラルネットワーク; フォールトトレラントコンピューティング; 遺伝的アルゴリズム; 学習; 内部表現

生物の脳が高度な耐故障性を有するのに対して、その工学的モデルであるニューラルネットワーク(NN)では必ずしも耐故障性は期待できない。これに対し、適切な手法を用いれば潜在的な耐故障性を引き出すことが可能であることが今までの研究で明らかとなっていた。本研究では、階層型NNを、超並列分散情報処理によって仕様から自己組織(学習)する能力を備えた万能組合せ回路と考え、この学習プロセスに適切な手法を盛り込むことによって、回路に潜在する耐故障性を明示的に引き出すことを考える。今回は特に、a)人工生命的アプローチを取り入れた耐故障化手法に関する検討、および、b)耐故障性と汎化能力の関係に関する検討に主眼を置いた。人工生命的アプローチとしては、遺伝的アルゴリズム(GA)を用いた学習を取り上げた。最適化の目的関数として、提示パタンに対する誤差と共に耐故障性の評価値を用い、目的とする関数を実現し、かつ耐故障性を有する回路を学習によって構成することができる。GAでは、単体のNNではなく、その集団を対象とするため、現在の要求に対する評価値は同じでも内部的に構造の異なった多様な解が同時に得られる可能性がある。これは、生物界における種族単位での頑健性に相当するものが期待できることを示唆している。シミュレーションの結果から、単体のNNを得ることを目的とした場合でも、GAによる学習で得られたNNは、通常の勾配法によるものに比べて、試行ごとに得られる内部表現が極めて大きく異なることが明らかとなった。また、集団中の多様性を保持する方法として、遺伝子表現における倍化が有効であることが示された。汎化性と耐故障性とは密接な関係があることが指摘されていたが、理論的には耐故障化によって汎化が向上する場合は限られており、実際、多くのシミュレーション例では耐故障化による汎化能力向上が得られないことを示す結果が得られた。

Biological の 脳 が highly な fault resistance を have す る の に し seaborne て, そ の engineering of モ デ ル で あ る ニ ュ ー ラ ル ネ ッ ト ワ ー ク (NN) で は will ず し も fault resistance は expect で き な い. こ れ に し seaborne, appropriate な gimmick を with い れ ば potential な fault resistance を lead き out す こ と が may で あ る こ と が today ま で の research で Ming ら か と な っ て い た. This study で は type, class NN を, super tied for decentralized intelligence 処 に よ っ て shi others か ら their organization (learning) す る ability を prepared え た universal modular せ loop え と test, こ の learning プ ロ セ ス に appropriate な gimmick を sheng り 込 む こ と に よ っ て, loop に potential す る fault resistance を express に lead き out す こ と を exam え る. Today back to artificial life は に, a) ア プ ロ ー チ を take り れ た fault resistance change gimmick に masato す る beg, お 検 よ び, b), the fault resistance と generalization ability の masato is に masato す る beg に 検 eye を buy い た. Artificial life ア プ ロ ー チ と し て は, but 伝 ア ル ゴ リ ズ ム (GA) を い た learning を take り げ た. Number of optimization purpose の masato と し て, tips パ タ ン に す seaborne る error と に total fault resistance の review on 価 numerical を い, objective と す る masato number を be し, か つ fault resistance を have す る loop を learning に よ っ て constitute す る こ と が で き る. GA で は, 単 の NN で は な く, そ の set 団 を like と seaborne す る た め, now の に す seaborne る review on 価 numerical は with じ で も の different structures internal に な っ た many others が な solution while に ら れ る possibility が あ る. こ れ は, biological に お け る racial 単 a で の に fairly robust sex す る も の が expect で き る こ と を in stopping し て い る. シ ミ ュ レ ー シ ョ ン の results か ら, 単 の NN を have る こ と を purpose と し た occasions で も, GA に よ で from る studying ら れ た NN は, generally の hook with に よ る も の に than べ て, trial ご と に have ら れ る internal が extremely め て big き く different な る こ と が Ming ら か と な っ た. ま た, set 団 の more others in sexual を keep す る method と し て, but 伝 performance に お け る times change が have sharper で あ る こ と が shown さ れ た. Generalization と fault resistance と は contact な masato is が あ る こ と が blame さ れ て い た が, theory of に は fault resistance change に よ っ て generalization が upward す る occasions は limit ら れ て お り, be international, more く の シ ミ ュ レ ー シ ョ ン example で は fault resistance change に よ る generalization ability が upward to ら れ な い こ と を shown the result of す が ら れ た.