ブースティング手法による統計的推論に関する理論的研究とその計算機による実装

Boosting方法统计推断的理论研究及其计算机实现

• 批准号: 14780169
• 负责人: 金森 敬文
• 金额: $ 1.02万
• 依托单位: Tokyo Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Young Scientists (B)
• 财政年份: 2002
• 资助国家: 日本
• 起止时间: 2002 至 2004
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-14780169/
• 关键词: ブースティング; アンサンブル学習; ロバスト統計; 判別分析; 多値判別; 不均一分散; 回帰分析; ロバスト化

今年度はアンサンブル学習のひとつであるブースティングについて,数理統計学や機械学習の観点から研究をおこなった.また,ロバスト統計の手法を応用して,回帰分析に新しいデータ解析法を導入した.以下に概要を述べる.1.ブーステイングの幾何学構造の解明性能があまり高くない学習方法を組み合わせて,強力な判別関数を構成する手法であるブースティングについて,情報幾何学的な観点から研究をおこなった.とくに多値判別について,既存手法を大幅に一般化する枠組を提供し,多様なノイズに対処可能な学習方法を提案した。2.ブースティングのロバスト化と有効性の両立についての研究ブースティングのロバスト化については,すでに本研究課題により研究がすすめられている.外れ値に対してロバストなだけではなく,さらに予測精度が非常に高いブースティング法を数理統計的な観点から提案し,その性能を理論,データ解析の両面から検証した.その結果,高次元大規模データに対して有効な方法であることが確認された.3.回帰分析に対する新しいデータ解析法の提案非常に裾が重く非対称性が高いような極めて複雑なノイズのもとで,安定した推定結果を与える学習方法を提案した.提案方法は単純なアルゴリズムで与えられ,計算効率が非常に良い.また既存方法ではノイズの分布に関する精報が必要であったが,提案手法はノイズに対する詳しい情報が得られない状況であっても,信頼性の高い推定結果が得られることが理論的に示された.さらに保険料推定など実データへの適用によって,提案手法が十分に実用的であることが明らにされた.

This year's study is a study of mathematical statistics and mechanical learning. The new method of analysis is introduced. The following is a summary. 1. The geometric structure of information geometry is studied in detail. The method of multi-value discrimination is proposed, and the existing method is generalized greatly. 2. The research on this topic is carried out in the context of the research on the development and effectiveness of new technologies. The accuracy of prediction is very high. The mathematical statistics method is the point of proposal. The performance is theoretical. The analytical method is the surface of verification. The result is that the high dimensional large-scale data analysis method has been confirmed. 3. The regression analysis method has been confirmed. The proposal of the new analysis method is very important. The asymmetry is high. The stability of the estimation result is confirmed. The proposed method is pure and simple, and the calculation efficiency is very good. Existing methods are necessary for accurate information on the distribution of information, and proposed methods are necessary for accurate information on the distribution of information. The proposed method is very useful for the purpose of protecting the data and making it available.

项目成果

Jose R.Dorronsoro (ED.): "Artificial Neural Networks ICANN2002"Springer. 1382 (2002)

Jose R.Dorronsoro（ED.）：“人工神经网络 ICANN2002”施普林格。

Estimators for Conditional Expectations under Asymmetric and Heteroscedastic Error Distribusions

非对称和异方差误差分布下条件期望的估计

• 发表时间: 2005
• 期刊: International Symposium on The Art of Statistical Metaware 21
• 作者: Takafumi Kanamori;Ichiro Takeuchi
• 通讯作者: Ichiro Takeuchi

アンサンブル学習の新展開

集成学习的新进展

• 发表时间: 2004
• 期刊: Learning SICE symposium on Intelligent Systems 31
• 作者: Takafumi Kanamori;Takashi Takenouchi;Shinto Eguchi;Noboru Murata;金森 敬文
• 通讯作者: 金森 敬文

Takeuchi, I., Bengio, Y., Kanamori T.: "Robust Regression with Asymmetric Heavy-Tail Nose Distributions"Neural Computation. 14. 2469-2496 (2002)

Takeuchi, I.、Bengio, Y.、Kanamori T.：“具有不对称重尾鼻子分布的鲁棒回归”神经计算。

Information geometry of U-Boost and Bregman divergence

• DOI: 10.1162/089976604323057452
• 发表时间: 2004-07-01
• 期刊: NEURAL COMPUTATION
• 影响因子: 2.9
• 作者: Murata, N;Takenouchi, T;Eguchi, S
• 通讯作者: Eguchi, S