神経回路モデルによる干渉を受ける記憶パターンの想起と追記学習

神経回路の優れた能力として汎化能力を挙げる事ができる.しかし,この汎化能力は逆に神経回路の追加学習を難しくしている.すなわち,汎化能力のあるシステムの内部表現はまだ学習していないパターンに対しても相関を持つことが多いことを意味している.したがって,我々人間が新たな事柄を学習するように,新たに記憶させたいパターンのみを神経回路に提示して追加学習させようとすると,過去の記憶に関係する内部表現を破壊してその記憶を忘却させてしまう事が多い.この忘却を完全に防ぐには,それまでに学習させたパターンをすべて用意し,それに新たに記憶させたいパターンを折りまぜて再度学習させる必要がある.しかしこの方法は学習パターンの数が多くなった場合には学習にかかるコストがかかり過ぎて現実的ではない.そこで,神経回路が既に学習した関数形状の中で,後の追加学習によって変形(干渉)を受ける部分を予測・想起し,それを新奇パターンと共に学習する追加学習法を提案した.この手法を採れば,学習時には必要な想起パターンのみを再学習させることになるので,学習にかかるコストが小さく抑えることができると期待される.この手法で鍵となるのは,神経回路の結合荷重の強度などのパラメータが後の追加学習によってどれほど変化するかを,いかに精度良く予測するかである.だがこれは,パラメータの最適化問題を解く前にその答えを予測する問題であり,現実には難しい.だが,追加学習の際の各パラメータの変化量が比較的小さい場合には,その変化量がかなりうまく予測できる.この制約条件を満たす神経回路として,様々な神経回路を試した結果,Generalized Radial Basis Function(GRBF)を改良したモデルとして,中間細胞を適応的に割り付けるResource Allocating Neural Network(RAN)が最適であることが分かった.そこで計算機実験では,提案手法と他の追加学習法をそれぞれRANに適用し,追加学習させる回数に対する計算量と神経回路の出力誤差の上昇率を比較した.その結果,提案手法はいずれのモデルよりも計算量が少なく且つ,出力誤差も最も小さく抑えることができることが判明した.さて,この研究はsupervised learningを生物が行なっているように追加的(逐次的)に行なう手法を提案するものであるが,これをさらに生物の学習方法ら近付けるため,先の学習法を自己組織的に進めていく手法の検討も行なった.すなわち現実の環境下では,supervised learningに必要な,入力に対する望ましい出力そのものが不明であることが多いため,このままでは学習が困難である.これを解決する手段として,複数のセンサー情報を統合することによってself-supervised learningを実現する手法の検討も行なった.

神経回路の優れた能力として汎化能力を挙げる事ができる.しかし,この汎化能力は逆に神経回路の追加学習を難しくしている.すなわち,汎化能力のあるシステムの内部表現はまだ学習していないパターンに対しても相関を持つことが多いことを意味している.したがって,我々人間が新たな事柄を学習するように,新たに記憶させたいパターンのみを神経回路に提示して追加学習させようとすると,過去の記憶に関係する内部表現を破壊してその記憶を忘却させてしまう事が多い.この忘却を完全に防ぐには,それまでに学習させたパターンをすべて用意し,それに新たに記憶させたいパターンを折りまぜて再度学習させる必要がある.しかしこの方法は学習パターンの数が多くなった場合には学習にかかるコストがかかり過ぎて現実的ではない.そこで,神経回路が既に学習した関数形状の中で,後の追加学習によって変形(干渉)を受ける部分を予測・想起し,それを新奇パターンと共に学習する追加学習法を提案した.この手法を採れば,学習時には必要な想起パターンのみを再学習させることになるので,学習にかかるコストが小さく抑えることができると期待される.この手法で鍵となるのは,神経回路の結合荷重の強度などのパラメータが後の追加学習によってどれほど変化するかを,いかに精度良く予測するかである.だがこれは,パラメータの最適化問題を解く前にその答えを予測する問題であり,現実には難しい.だが,追加学習の際の各パラメータの変化量が比較的小さい場合には,その変化量がかなりうまく予測できる.この制約条件を満たす神経回路として,様々な神経回路を試した結果,Generalized Radial Basis Function(GRBF)を改良したモデルとして,中間細胞を適応的に割り付けるResource Allocating Neural Network(RAN)が最適であることが分かった.そこで計算機実験では,提案手法と他の追加学習法をそれぞれRANに適用し,追加学習させる回数に対する計算量と神経回路の出力誤差の上昇率を比較した.その結果,提案手法はいずれのモデルよりも計算量が少なく且つ,出力誤差も最も小さく抑えることができることが判明した.さて,この研究はsupervised learningを生物が行なっているように追加的(逐次的)に行なう手法を提案するものであるが,これをさらに生物の学習方法ら近付けるため,先の学習法を自己組織的に進めていく手法の検討も行なった.すなわち現実の環境下では,supervised learningに必要な,入力に対する望ましい出力そのものが不明であることが多いため,このままでは学習が困難である.これを解決する手段として,複数のセンサー情報を統合することによってself-supervised learningを実現する手法の検討も行なった.