学習におけるスパース表現と並列処理に関する研究

点击翻译按钮获取中文摘要

本研究は,コネクショニズム的情報表現について,どのような学習ペナルティを課せば望ましい性能を得られるのかについて調べることを課題としている.まず競合学習についてであるが,Mをニューロンの数,Nをデータの数とすると,次のような二つの場合がある.[M<N型]まず,研究代表者は,ダイバージェンスを付加項に加えることにより,log-conscienceという競合ペナルティを導出した.この量をバイアスとする学習を行うと,劣悪な局所最適解に捕まることが少なくなる.さらに,この対数バイアスを用いて重みベクトルの突然変異を行うと,学習結果はほぼ問違いなく大域最適解の周辺に収束することを確認できた.[M<N型]これは正則化の問題となっている.具体例としては,従来の組合わせ最適化法では近似解すら求まっていなかったextended vehicle routing問題を取り上げ,良好な近似解を得ることができた.誤差逆伝播学習における付加項の問題については,ダイバージェンス層とエントロピ属について調べた.凸型の出力ペナルティは,連続値を扱う場合のスパースコーディングに相当している.排他適論理和のように0-1パターンを入力とする場合には,凹型であるダイバージェンスを用いると,誤差が一桁以上も小さくなることを確認できた.また,結合重みに対してダイバージェンスをペナルティとして課しても,結合の間引き効果が現れることを発見した.以上のように,今年度の研究課題として設定した学習時のペナルティ項は,パターンのコーディン方法に深く影響し,性能を向上させるものであることが分かった.