神経回路網の自己組織化学習における汎化能力向上のための局所的相互作用の探索

点击翻译按钮获取中文摘要

本研究では,例からの学習により関数を近似したり,パターンを認識したりする際の汎化能力を向上させる方法の一つとして,問題に応じて系のモデルを適切に選択し,解候補となる関数集合を限定する手法について明らかにすることを目的とし,研究を行ってきた.これまで逐次学習法に見られる極小値問題等の非効率を回避しつつ,問題に適したモデル選択を学習中に動的に行う方法(モデルスイッチング)を神経回路網の学習に対して提案し,学習の高速化と汎化能力の向上,そして工学的要請である簡単なモデルによる系の実現が可能であることを示してきた.本研究では,この手法を拡張し,モデルを構成する素子やパラメータを自律的な「実体」として定義し,それら実体間の局所的な相互作用の結果として,実体の新設や削除に相当するモデル変更が行われる,分散的な方法(自己組織化学習)によってモデル決定を含む学習を行い,高い汎化能力を実現していく手法について考察を行った.まず,層状神経回路網の中間層における局所的な実体の相互作用の一例として,訓練集合に対する実体の応答の絶対相関を相互に局所的に評価し,その値の高さによって2つの実体を1つで置換する作用(融合)により,(工学的要請である)小さなモデルによる実現と,汎化能力の向上が見られることを実験的に示してきている.さらに,学習に対する中間層の応答の従属性を低下させるような正則化を学習に際して行い,上記の素子融合と併用することにより,学習の効率化が可能であることが可能であることを示してきている.また,相互結合型の神経回路網を用いたパターンマッチングであると見ることができる弛緩整合法に対して,マッチングを行うべき未知入力に対してはあらかじめモデルを仮定せず,画像のエッジピクセルを上記の「実体」として取り扱い,相互作用によりモデル化をすすめながらテンプレートとのマッチングを図ることにより,マッチングの汎化能力を向上させる生成的弛緩整合法を提案し,国際学会などで報告している.本研究では,層状型,相互結合型の神経回路網において,素子の局所的な相互作用として応答の相関をキーとし,これに基づいてモデル変更を行っていくことの,学習の効率化,汎化能力の向上,モデル自体の自己組織的獲得への有用性を示すことができた.