学習におけるスパース表現とコネクション重みに関する研究

点击翻译按钮获取中文摘要

本研究は,重みベクトルを用いたコーディングの性質と利点とは何かを探ることを目的としている.このとき,多層ネットワークのように連続値となる符号化を考察の対象としている.従って,この場合のコーディングとは何か,コネクション重みを考慮したときの相対的な集中・スパース・分散性とはどのようなものかといったことについて明確な理解と適用法とを得ることが重要な項目となっている.上のような目的に従って得られた成果は次の通りである.1.教師なし学習と教師あり学習のそれぞれについて,重みベクトルの配置を決める問題を,D=F+Σ_iλ_iG_iを最小化する多目的最適化問題として統一して扱えるようにした.2.データ近似を行う競合学習については,対数バイアスとそれに基づく突然変異操作が,劣悪な局所最適を避けるよい手段であることを発見した.3.重みベクトルをさらにグループ化してスーパーベクトルとみなすと,最適化特徴マップが得られ,これを外部知性の指定に基づいて変形すると,静止画像から動画像の生成ができることが分かった.4.多層ネットワークの重み分布を集中・スパース・分散のそれぞれの形にするペナルティ項としてα-ダイバージェンスが適切であることを,論理値と時系列を入力する場合を例にとって実証した.