Development of high generalization classifiers by maximizing the minimum margin and minimizing the maximum margin

点击翻译按钮获取中文摘要

汎化能力が高い識別器として、サポートベクトルマシン(SVM)がある。SVMでは、分離超平面からのデータの最小距離（マージン）が最大になるように分離超平面を決定している。しかしながらVapnikの理論は、最小マージン最大化とともに、教師データを含む超球の直径を最小化することが汎化能力の向上につながることを示している。このため全体のマージン分布を最小化する方法として、研究代表者は最小マージンを最大化するとともに、最大マージンを最小化する最小複雑度SVM(MSVM)を提案し、2つの種類のSVMでMSVMのアーキテクチャと学習法を開発するとともに、従来のSVMよりも汎化能力が向上することを確認している。本研究の初年度は、MCMとLS(Least Squares) SVMとを融合して、複雑度が最小のMLS SVMのアーキテクチャとその学習方式を開発した。さらに、2クラスおよび多クラス問題で評価を行い、次の結論を得た。①　LS SVMは教師データを最大マージンの周りに最小自乗誤差で分布するように超平面を決定するために、最大マージンの最小化に似た最適化を行っているといえる。これに最大マージンの最小化を導入したMLS SVMとベンチマークデータで評価した結果、統計的検定によって、両者の識別能力には差がないことが示された。②　L1 SVMと比較して、LS SVMで汎化能力が極端に悪くなるベンチマークデータが存在する。このデータに関してはMLS SVMでも向上できなかった。この理由は、LS SVMが最小二乗法によっているが、汎化能力が低下するベンチマークデータは離散入力が多く、このために最小二乗法では、データの性質を十分に反映できないためと思われる。