速い学習と遅い学習を組み合わせた 高速適応能力を損なわない素子数削減法

点击翻译按钮获取中文摘要

神経回路などのモデルベースの学習機械は,テーブルルックアップ手法等のように全事例記憶型の学習機械に比べて少ないパラメータ数で実現できるため,小規模な計算機でも高度な能力を実現できるという特徴を持つ.しかし,神経回路の従来の学習方法では,追加的な学習を行わせると,一部の記憶を忘却すると言う問題がある.これは少ないパラメータに多くの事例を集約させて記憶させるためであり,一つのパラメータを別の事例に合わせるように学習させると,過去に提示した事例の記憶を破壊するのである.これを防ぐには,神経回路に冗長なパラメータ(中間細胞)を増やせばある程度防ぐことが可能だが,これではテーブルルックアップ手法と変わり無く,神経回路を使うメリットが無くなってしまう.そこで昨年度は、認識を専門に行うMain Networkと,昼間に暫定的にテーブルルックアップ手法と似た形で新規事例を高速に学習するFast-Learning-Network(F-Net),夜の間にF-Netの学習結果を少ないパラメータに圧縮し記憶するSlow-Learning-Network(S-Net)によって構成されるモデルを構築した.F-NetとS-NetはいずれもGaussian Radial Basis Function Networkと呼ばれるネットワークで構成されていて,その中間細胞の出力関数はガウス関数で表現される.本年度は上記モデルの夜間の学習手法について、以下の二つの手法を同時並行的に検討した。一つは、F-Netのパラメータから疑似学習パターンを生成して、S-Netに対して従来手法を用いてゆっくりと細胞の生成と淘汰とを同時並行的に行わせながら学習させる方法。もう一つは、F-Netの細胞群の中で似通った性質を持つ細胞同士を併合する方法である。前者は、疑似パターンをできるだけ実際に学習したパターンに近くなるように工夫できれば、少ない計算量で目的が達成できる。しかし、疑似パターンが実際とはかなり異なるパターンになってしまう場合が有ることが問題である。一方、後者は疑似パターンの生成が全く必要が無いと言うメリットが有るものの、多次元入力パターンを扱う場合には計算量が爆発的に増えてしまうと言う問題が有る。そこで、これら二つの手法を同時並行的に改良を進めた。その結果、前者の方は多次元パターンのべンチマークテストに耐え得るシステムに仕上った。一方、後者のモデルでは、2次元入力パターンに対してまでではあるが、併合する細胞の候補を発見する手続きを効率化してある程度の高速化が図れた。