权益分类	功能权益	普通用户	{{item.name}}会员
{{category.name}}	{{benefitItem.name}}

Robust and efficient learning algorithms through control of margin distributions

通过控制边缘分布实现稳健高效的学习算法

基本信息

批准号：
18H06477
负责人：
HOLLAND Matthew・James
金额：
$ 1.83万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2018
资助国家：
日本
起止时间：
2018-08-24 至 2020-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18H06477/
关键词：
統計的学習理論機械学習確率的最適化

项目摘要

本研究では、機械学習のもっとも基礎的な学習課題である二値識別に着目し、従来の手法の新たな展開を探るべく、学習アルゴリズムのフィードバック方法を抜本的に改新することを検討してきた。本研究の本質的な特徴は、識別課題で重要な役割を果たす「マージン」という指標の平均にとどまらず、その確率分布自体を最適化の対象としてとらえていることが挙げられる。平成30年度の成果として、最初の取り口として、マージン分布の裾に引っ張られにくいパラメータを新たに特徴づけて、そのパラメータをデータから推定し、それを最大化しようとする新しい学習アルゴリズムの理論解析および入念な数値実験を行った。そのパラメータの新たな定義は多項式の形をとるトランケーション関数によって決まるのだが、そこには利点がいくつもある。外れ値の影響が受けにくく、統計的なロバスト性が長けている。また、この関数を導入したことによって、新たに提案している目的関数と二値識別率の関係を明示できるようになる。これは数学的な理論にとどまらず、多項式の形を利用すれば、提案関数と二値識別率の乖離がどの程度大きく成りうるか数値的に検証することも可能になる。このやや煩雑な計算を行うプログラムを副産物としてインターネット上で公開している。数値実験では、分布自体を制御する自由度がまだ低いが、種々のデータセットにおいてベンチマーク手法と同程度以上の性能を記録しており、基本的な原理は予想通りであった。特に、提案しているスケーリング係数をデータ駆動的に決めることで、コストのかかる正則化の作業を省くことができることも判明し、実用性のポテンシャルが高いと見ている。初期的ながら、理論とこの研究成果は統計的機械学習のトップカンファレンスの一つであるAISTATS 2019に採択された。

This study is aimed at exploring new ways to develop and improve the basic learning problems of machine learning. The essential characteristics of this study are to identify the important results of the study and to optimize the distribution of the average and accuracy of the indicators. Heisei 30 years of achievements, the initial selection of the mouth, the distribution of the introduction of new characteristics, all of the new types of learning, theoretical analysis and input value A new definition of a polynomial is given in the form of a polynomial. The influence of external factors on the quality of statistics is very long. Moreover, when this correlation is introduced, the relationship between the target correlation and the binary recognition rate will be clearly stated in the new proposal. The theory of mathematics, the shape of polynomials, the number of proposals, the degree of deviation of the two values, the number of proofs, etc. This is the first time I've ever seen one. The number of values, the distribution of self-control degrees of freedom, the number of species, the number of methods, the number of methods, the basic principles, the number of methods, the methods, the number of Special, proposal, change coefficient, change coefficient The initial results of theoretical and statistical research on machine learning were collected at AISTATS 2019.