教師付き学習におけるモデル選択に関する研究

点击翻译按钮获取中文摘要

本研究課題の目的は,教師付き学習によって高い汎化能力を得るためのモデル選択法を開発することである.この研究課題に先だって,当研究代表者はモデル選択規準Subspace Information Criterion (SIC)を提案した.SICは,有限の訓練サンプルに対して汎化誤差の不偏推定量となることが理論的に保証されるため,少ない訓練サンプルからでも有効にモデル選択を行なうことができる.しかし,これまでSICは最小二乗学習の部分空間モデルの選択にしか適用できなかった.本研究課題では,このSICの適用範囲を拡大する.本年度の研究実施計画は,SICを正則化学習にも適用できるように拡張することであった.正則化学習は,最小二乗学習で部分空間モデルを選択する場合と異なり,正則化パラメータという実数値パラメータによって連続的にモデルの複雑さを制御することのできる学習法であり,広く用いられている.本年度はこの実施計画に基づいて,正則化学習に適用できるようにSICを拡張し,その理論的な性質を詳細に調べた.そして,拡張したSICをDELVEと呼ばれる実問題のデータセットに適用し,SICが有効に働くことを実験的に確認した.更に上記の研究と併行して,来年度以降にノンパラメトリック学習法にもSICを適用できるように拡張するために,モデル選択の理論的基盤を整備することも本年度の計画であった.この計画に従い,関数解析的な立場から学習問題を厳密に定式化した.この研究の過程で,汎化誤差と学習に用いる再生核ヒルベルト空間の再生核の形に存在する,ある種の依存性がモデル選択において重要な働きをしていることが明らかになった.来年度以降,この枠組みのもとでノンパラメトリック学習法にも適用できるようにSICを拡張して行く予定である.