特徴空間の構造の解明とパターン認識に適したカーネルの開発

特徴空間は無限次元となりうるが,これに等価な標本特徴空間は最大でも教師データ数の次元の空間になる.この特徴を使って前年度に最小自乗サポートベクトルマシン(LS SVM)のスパース化を実現する方式を開発したが,今年度はさらにスパース化の研究を進め,以下の結論を得た.(1)前年度開発したスパースLS SVMは標本特徴空間で主問題を解いていたが,標本特徴空間で双対問題を解く方式を開発し,両者の違いを数値的安定性および学習速度の観点から解析し,双対問題で解くと数値的不安定が生じることを明らかにした.(2)スパースLS SVMを関数近似に拡張した.すなわちカーネルマトリックスをコレスキー分解する際に0判定を緩めることにより,一次独立になるデータ数を制限して縮小標本空間を作成する.さらにこの空間内で関数近似器を学習することによりスパースLS SVR(Support Vector Regressor)を実現した.(2)スパースLS SVMではコレースキー分解により,特徴空間を縮小していたが,これでは分離に必要なデータを削除する可能性がある.このために標本特徴空間でDiscriminant Analysisを行うことにより分離に必要なデータを選択する方式を開発した.これにより,コレスキー分解で求めたスパースLS SVMよりさらにスパース性を向上することができた.(3)通常のSVMを縮小標本特徴空間で双対問題で学習する方式を開発した.これにより,分離が難しい問題で通常のSVMよりさらにスパース性が向上することを確認した.

特徴空間は無限次元となりうるが,これに等価な標本特徴空間は最大でも教師データ数の次元の空間になる.この特徴を使って前年度に最小自乗サポートベクトルマシン(LS SVM)のスパース化を実現する方式を開発したが,今年度はさらにスパース化の研究を進め,以下の結論を得た.(1)前年度開発したスパースLS SVMは標本特徴空間で主問題を解いていたが,標本特徴空間で双対問題を解く方式を開発し,両者の違いを数値的安定性および学習速度の観点から解析し,双対問題で解くと数値的不安定が生じることを明らかにした.(2)スパースLS SVMを関数近似に拡張した.すなわちカーネルマトリックスをコレスキー分解する際に0判定を緩めることにより,一次独立になるデータ数を制限して縮小標本空間を作成する.さらにこの空間内で関数近似器を学習することによりスパースLS SVR(Support Vector Regressor)を実現した.(2)スパースLS SVMではコレースキー分解により,特徴空間を縮小していたが,これでは分離に必要なデータを削除する可能性がある.このために標本特徴空間でDiscriminant Analysisを行うことにより分離に必要なデータを選択する方式を開発した.これにより,コレスキー分解で求めたスパースLS SVMよりさらにスパース性を向上することができた.(3)通常のSVMを縮小標本特徴空間で双対問題で学習する方式を開発した.これにより,分離が難しい問題で通常のSVMよりさらにスパース性が向上することを確認した.