ニューラルネットワーク連想メモリの追加学習に関する研究

点击翻译按钮获取中文摘要

連想メモリを含む多くのニューラルネットワークは、情報をニューロン間の重みに分散して記憶するため、一旦学習が終了した後に新規な情報のみを記憶させようとすると、それまでに記憶した情報に破局的な忘却をもたらす。すなわち、追加学習が極めて因難であるという問題がある。本研究では、追加学習を可能とする連想メモリの構築を目的としている。昨年度までの研究では、入力層からマップ層への重みの学習に改良を加えた、連想メモリとして動作可能な自己組織化特徴マップに、シナプス硬直条件およびシナプス半硬直条件を導入することで、追加学習が可能な連想メモリの構築を行った。しかし、本モデルでは入力データ間の類似関係をマップ上に保存しにくいことが明らかになっている。開発した連想メモリは、新規な情報によって過去の記憶が破壊されることがないため、長期記憶のモデルとみなすことができる。今年度の研究では、これに短期記憶に相当する小容量のバッファを付加し、そこに蓄えたデータを用いてマップの再構築を行う方法を開発した。具体的には、新規な情報と類似した既記憶情報をネットワークの重みから取り出してバッファに一時的に格納し、新規情報とともに学習を行う。これにより、マップの小領域に入力データの類似関係が精度良く写像される。これを新規な情報が与えられる度に繰り返すことにより、マップ全体が入力データの類似関係を反映することができる。さらに、本モデルで1対多や多対多の連想が扱えることを確認するとともに、マップ上のニューロンの内部状態が過去の発火履歴を含むようにニューロンモデルを変更し、時系列情報を取り扱えるようにモデルに改良を加えた。