階層型ニューラルネットワークの内部表現と汎化能力の関係解明に関する研究

点击翻译按钮获取中文摘要

本年度は,関数近似問題を対象として,階層型ニューラルネットワーク(階層型NN)の内部表現と汎化能力の関係について検討した.まず,関数近似問題を対象とする場合,(i)補間性能および(ii)外延的類推(予測)性能が汎化能力として定義した.つぎに,観測雑音が付加された学習データに対して誤差逆伝搬法を適用した場合,過学習と呼ばれる現象が生じ,上述の汎化能力が劣化することを具体的に示した.さらに,以下に示す内部表現を表すための指標を基にして,過学習による汎化能力の劣化原因を定量的に説明した.・過剰自由度:荷重係数に関するエントロピーに着目した情報量規範を導入することにより,階層型NNの実質的な自由度を算出した.・中間層と出力層間における線形性の評価:主成分分析法に基づいた中間層および出力層間の線形化精度評価手法を導入することにより,関数近似能力に対する各中間層ユニットの適切さを評価することが可能となった.また,この検討結果を踏まえ,汎化能力を改善するための学習法を提案し,以下のような具体的な実問題に適用し,良好なモデリング精度(汎化能力)を獲得することができた.・画像の領域分割:画像の領域分割における誤差に関する偏差と分散のバランスを保つように,各領域の特徴に対応して複数の階層型NNを適応的に割り当てることが可能な手法を提案し,実画像に対する有効性を定量的および定性的な両面から評価した。・非定常信号処理:時変係数を伴って変動する音響信号を対象とし,内部表現(荷重係数)の変動に着目した信号の分割処理と信号予測手法を提案し,実データに対する評価を行なった.