ニューラルネットワーク連想メモリの追加学習に関する研究

神经网络联想记忆的加性学习研究

• 批准号: 10780223
• 负责人: 服部 元信
• 金额: $ 1.02万
• 依托单位: University of Yamanashi
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Encouragement of Young Scientists (A)
• 财政年份: 1998
• 资助国家: 日本
• 起止时间: 1998 至 1999
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-10780223/
• 关键词: 連想メモリ; 追加学習; 自己組織化特徴マップ; シナプス硬直条件; シナプス半硬直条件; マップの再構築; 多対多; 時系列情報

連想メモリを含む多くのニューラルネットワークは、情報をニューロン間の重みに分散して記憶するため、一旦学習が終了した後に新規な情報のみを記憶させようとすると、それまでに記憶した情報に破局的な忘却をもたらす。すなわち、追加学習が極めて因難であるという問題がある。本研究では、追加学習を可能とする連想メモリの構築を目的としている。昨年度までの研究では、入力層からマップ層への重みの学習に改良を加えた、連想メモリとして動作可能な自己組織化特徴マップに、シナプス硬直条件およびシナプス半硬直条件を導入することで、追加学習が可能な連想メモリの構築を行った。しかし、本モデルでは入力データ間の類似関係をマップ上に保存しにくいことが明らかになっている。開発した連想メモリは、新規な情報によって過去の記憶が破壊されることがないため、長期記憶のモデルとみなすことができる。今年度の研究では、これに短期記憶に相当する小容量のバッファを付加し、そこに蓄えたデータを用いてマップの再構築を行う方法を開発した。具体的には、新規な情報と類似した既記憶情報をネットワークの重みから取り出してバッファに一時的に格納し、新規情報とともに学習を行う。これにより、マップの小領域に入力データの類似関係が精度良く写像される。これを新規な情報が与えられる度に繰り返すことにより、マップ全体が入力データの類似関係を反映することができる。さらに、本モデルで1対多や多対多の連想が扱えることを確認するとともに、マップ上のニューロンの内部状態が過去の発火履歴を含むようにニューロンモデルを変更し、時系列情報を取り扱えるようにモデルに改良を加えた。

Even want to メ モ リ を containing more than む く の ニ ュ ー ラ ル ネ ッ ト ワ ー ク は, intelligence を ニ ュ ー ロ ン の between heavy み に scattered し て memory す る た め, once the end of the study が し た に after new rules な intelligence の み を memory さ せ よ う と す る と, そ れ ま で に memory し た intelligence に broken な forget を も た ら す. Youdaoplaceholder0, additional learning が extremely めて difficult であると う う problems がある. This study で る and additional learning を may とする jointly aim to メモリ メモリ construct を purpose と て て る る る. Yesterday's annual ま で の research で は, layer into force か ら マ ッ プ layer へ の heavy み の improved learning に を plus え た, even want to メ モ リ と し て action may な himself organized 徴 マ ッ プ に, シ ナ プ ス hard straight conditions お よ び シ ナ プ ス half hard straight conditions を import す る こ と で, additional learning が may な even think メ モ リ の line build を っ た. し か し, this モ デ ル で は デ into force ー タ の masato is similar between を マ ッ プ に save し に く い こ と が Ming ら か に な っ て い る. Open 発 し た even think メ モ リ は, new rules な intelligence に よ っ て の past memory が broken 壊 さ れ る こ と が な い た め, long-term memory の モ デ ル と み な す こ と が で き る. Our study の で は, こ れ に に short-term memory す る small capacity の バ ッ フ ァ を pay plus し, そ こ に え storage た デ ー タ を with い て マ ッ プ の method to construct line を う を open 発 し た. Specific に は, new rules な intelligence と similar し た memory both intelligence を ネ ッ ト ワ ー ク の heavy み か ら take り out し て バ ッ フ ァ に transient に Wagner し, new rules on intelligence と と も に learning う を line. The <s:1> れによ れによ, the ップ ップ, the に input force in the small field デ the タ タ, the タ, the similar relationship が, the accuracy is good and the く are written like される. こ れ を new rules な intelligence が and え ら れ る degrees に Qiao り return す こ と に よ り, マ ッ プ all が デ into force ー タ similar masato is の を reflect す る こ と が で き る. さ ら に, this モ デ ル で 1 many や much more seaborne seaborne の even think が Cha え る こ と を confirm す る と と も に, マ ッ プ on の ニ ュ ー ロ ン の internal state が past の 発 fire shoe bearing を containing む よ う に ニ ュ ー ロ ン モ デ ル を - more し, series intelligence を take り Cha え る よ う に モ デ ル に improved を plus え た.

项目成果

Hasegawa,K. and Hattori,M: "Improved Pseudo-Relaxation Learning Algorithm for Robust Bidirectional Associative Memory"Artificial Neural Nets and Genetic Algorithms. 288-293 (1999)

长谷川，K.

Hasegawa,K and Hattori,M: "Improved Pseudo-Relaxation Learning Algorithm for Robust Bidirectional Associative Menu" Proceedings of International Conference on Artificial Neural Networks and Genetic Algorithms. 掲載予定.

Hasekawa, K 和 Hattori, M：“用于鲁棒双向关联菜单的改进伪松弛学习算法”人工神经网络和遗传算法国际会议论文集即将出版。

山田剛生,服部元信,森澤正之,伊藤洋: "自己組織化特徴マップを用いた追加学習可能な連想メモリ" 電子情報通信学会技術研究報告. NC98-93. 93-100 (1999)

Takeo Yamada、Motonobu Hattori、Masayuki Morisawa、Hiroshi Ito：“能够使用自组织特征图进行额外学习的联想记忆”IEICE 技术报告 NC98-93 (1999)。