Development of high generalization classifiers by maximizing the minimum margin and minimizing the maximum margin

通过最大化最小间隔和最小化最大间隔来开发高泛化分类器

• 批准号: 22K04154
• 负责人: 阿部 重夫
• 金额: $ 1.58万
• 依托单位: Kobe University
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Scientific Research (C)
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2025-03-31
• 项目状态: 未结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-22K04154/
• 关键词: パターン認識; サポートベクトルマシン; カーネル法

汎化能力が高い識別器として、サポートベクトルマシン(SVM)がある。SVMでは、分離超平面からのデータの最小距離（マージン）が最大になるように分離超平面を決定している。しかしながらVapnikの理論は、最小マージン最大化とともに、教師データを含む超球の直径を最小化することが汎化能力の向上につながることを示している。このため全体のマージン分布を最小化する方法として、研究代表者は最小マージンを最大化するとともに、最大マージンを最小化する最小複雑度SVM(MSVM)を提案し、2つの種類のSVMでMSVMのアーキテクチャと学習法を開発するとともに、従来のSVMよりも汎化能力が向上することを確認している。本研究の初年度は、MCMとLS(Least Squares) SVMとを融合して、複雑度が最小のMLS SVMのアーキテクチャとその学習方式を開発した。さらに、2クラスおよび多クラス問題で評価を行い、次の結論を得た。①　LS SVMは教師データを最大マージンの周りに最小自乗誤差で分布するように超平面を決定するために、最大マージンの最小化に似た最適化を行っているといえる。これに最大マージンの最小化を導入したMLS SVMとベンチマークデータで評価した結果、統計的検定によって、両者の識別能力には差がないことが示された。②　L1 SVMと比較して、LS SVMで汎化能力が極端に悪くなるベンチマークデータが存在する。このデータに関してはMLS SVMでも向上できなかった。この理由は、LS SVMが最小二乗法によっているが、汎化能力が低下するベンチマークデータは離散入力が多く、このために最小二乗法では、データの性質を十分に反映できないためと思われる。

High generalization ability が <s:1> recognizer と て て, サポ トベ トベ ト ト シ シ シ <e:1> がある がある (SVM)がある. SVM で は, separating hyperplane か ら の デ ー タ の minimum distance (マ ー ジ ン) が biggest に な る よ う に separation hyperplane を decided し て い る. し か し な が ら Vapnik は の theory, minimum マ ー ジ ン maximize と と も に, teachers デ ー タ を containing む super ball diameter の を minimize す る こ と が generalization ability の upward に つ な が る こ と を shown し て い る. こ の た め all の マ ー ジ ン distribution を minimize す る method と し て representatives, research は minimum マ ー ジ ン を maximize す る と と も に, maximum マ ー ジ ン を minimize す る minimum complex 雑 SVM (MSVM) proposed を し, 2 つ の kinds の SVM で MSVM の ア ー キ テ ク チ ャ と learning method を open 発 す る と と も に, 従 の SV The generalization ability of Mよ <s:1> が is confirmed upward by する る とを とを る る. At the beginning of this study の annual は, MCM と LS (further Squares) SVM と を fusion し て, complex 雑 が minimum の MLS SVM の ア ー キ テ ク チ ャ と そ の way to learn を open 発 し た. Youdaoplaceholder0, 2 ラスおよび ラスおよび multiple ラス ラス problems で evaluation 価を is feasible た, and the second <s:1> conclusion を is た. (1) the LS SVM は teachers デ ー タ を biggest マ ー ジ ン の weeks り に minimum since 乗 error distribution で す る よ う に hyperplane を decided す る た め に, maximum マ ー ジ ン の minimize に like た line optimization を っ て い る と い え る. こ れ に biggest マ ー ジ ン の minimize を import し た MLS SVM と ベ ン チ マ ー ク デ ー タ で review 価 し た result, statistical 検 に よ っ て, struck の recognition に は poor が な い こ と が shown さ れ た. (2) the L1 SVM と compare し て, LS SVM で generalization ability が extreme に 悪 く な る ベ ン チ マ ー ク デ ー タ が exist す る. <s:1> デ デ タに タに related to <s:1> て MLS SVMで で upward で な な な った った った った った った った こ の reason は, LS SVM が least squares method に よ っ て い る が, low generalization ability が す る ベ ン チ マ ー ク デ ー タ は discrete が く more into force, こ の た め に least squares method で は, デ ー タ の nature を very に reflect で き な い た め と think わ れ る.

项目成果

Soft Upper-bound Support Vector Machines

• DOI: 10.1109/ijcnn55064.2022.9892425
• 发表时间: 2022-07
• 期刊: 2022 International Joint Conference on Neural Networks (IJCNN)
• 作者: S. Abe

Do Minimal Complexity Least Squares Support Vector Machines Work?

最小复杂度最小二乘支持向量机有效吗？

• DOI: 10.1007/978-3-031-20650-4_5
• 发表时间: 2022
• 期刊: Artificial Neural Networks in Pattern Recognition: 10th IAPR TC3 Workshop, ANNPR 2022
• 作者: Yukihiro Harada;Shigeo Asahi;Takashi Kita;Shigeo Abe
• 通讯作者: Shigeo Abe