アンサンブル学習のアルゴリズム開発と理論的解析

集成学习的算法开发与理论分析

• 批准号: 17700277
• 负责人: 金森 敬文
• 金额: $ 1.92万
• 依托单位: Nagoya University (2007)Tokyo Institute of Technology (2005-2006)
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2005
• 资助国家: 日本
• 起止时间: 2005 至 2007
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-17700277/
• 关键词: アンサンブル学習; ロバスト推定; 不確実性; 最適化; バリューアットリスク; パラメトリック最適化; 分位点回帰関数; 条件付密度関数推定

今年度は主にブースティングや不確実性のもとでの最適化に関する理論的な研究を行った。とくに最適解との関連について研究を進め,理論的に最適な損失関数を導出した。これにより計算効率の高い学習アルゴリズムの開発に貢献した。さらに大規模な数値実験により,提案方法の有効性を検証した。これらの考察を含むブースティングのロバスト化に関する論文は"Robust Boosting Algorithm against Mislabelling in Multi-Class Problems"にまとめられ,雑誌Neural Computationに掲載が決定している。さらに,ブースティングを多値確率分布の推定に応用する研究を行った。これにより,判別関数だけを推定した場合と比較して,データに関するより精緻な推論を実行することを可能にした。この方法はラベル数が3以上であっても実行できるため,実用上非常に優れた推定法になっている。この成果は"Obtaining Conditional Probability Estimation from Multiclass Boosting"にまとめられIEICE Transactions on Information and Systems誌に掲載された。さらに確率分布の推定に適している損失関数に関する研究をすすめ、数値実験による検証を行った。この結果は、国際会議Algolithmic Learning Thery 2007において発表された。また能動学習の情報幾何学的な研究を行った。ブースティングの幾何的構造と類似の構造が,能動的学習の有効性を理解するのに役立つことを指摘して,最適なサンプリングによる能動学習法を提案した。この成果はNeurocomputing誌に掲載された。

This year, the main purpose of the study is to optimize the theory of uncertainty. The optimal solution and correlation are studied and the optimal loss relation of theory is derived. This is a high learning efficiency calculation and development contribution. The effectiveness of the proposed method is demonstrated by the large-scale numerical simulation. This paper is entitled "Robust Boosting Algorithm against Mislabelling in Multi-Class Problems". A study on the estimation of the probability distribution of multiple-valued data was carried out. For example, if the number of discriminators is less than the number of presumptions, the number of discriminators is less than the number of presumptions, the number of presumptions is less than the number of presumptions. This method is more than 3 times, and the method of estimation is very good. This result is disclosed in the "Obtaining Conditional Probability Estimation from Multiclass Boosting" section. A study on the relationship between loss and estimation of probability distribution; The results of this conference were presented at the International Conference on Algolithmic Learning Thery 2007. The research of dynamic learning and information geometry is carried out. The geometric structure of the structure and the similar structure of the structure, the active learning and the effective understanding of the structure, the optimal structure and the active learning method proposed The results of Neurocomputing were published.

项目成果

ブースティングと学習アルゴリズム 三人寄れば文殊の知恵は本当か

提升和学习算法：文殊菩萨的智慧是真的吗？

• 发表时间: 2005
• 期刊: 電子情報通信学会誌 88・9
• 作者: 村田昇;金森敬文;竹之内高志
• 通讯作者: 竹之内高志

Robust Boosting Algorithm against Mislabelling in Multi-Class Problems

针对多类问题中错误标签的鲁棒增强算法

• 发表时间: 2008
• 期刊: Neural Computation To appear
• 作者: Takenouchi;T.;Eguchi;S.;Murata;N.;Kanamori;T.
• 通讯作者: T.

Conditional Value-at-Risk Approach to Robust Optimization and Applications to Statistical Learning under Distribution Perturbation

稳健优化的条件风险值方法及其在分布扰动下统计学习的应用

• 发表时间: 2005
• 期刊: 情報論的学習理論ワークショップ予稿集 8巻
• 作者: 武田朗子;金森敬文
• 通讯作者: 金森敬文

区分線形パス追跡法による条件分位点パスの計算

使用分段线性路径追踪方法计算条件分位数路径

• 发表时间: 2005
• 期刊: 情報論的学習理論ワークショップ予稿集 8巻
• 作者: 竹内一郎;野村要;金森敬文
• 通讯作者: 金森敬文

Robust loss functions for boosting

• DOI: 10.1162/neco.2007.19.8.2183
• 发表时间: 2007-08-01
• 期刊: NEURAL COMPUTATION
• 影响因子: 2.9
• 作者: Kanamori, Takafumi;Takenouchi, Takashi;Murata, Noboru
• 通讯作者: Murata, Noboru