Robust and efficient learning algorithms through control of margin distributions

通过控制边缘分布实现稳健高效的学习算法

基本信息

批准号：
18H06477
负责人：
HOLLAND Matthew・James
金额：
$ 1.83万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Research Activity Start-up
财政年份：
2018
资助国家：
日本
起止时间：
2018-08-24 至 2020-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-18H06477/
关键词：
統計的学習理論機械学習確率的最適化

项目摘要

本研究では、機械学習のもっとも基礎的な学習課題である二値識別に着目し、従来の手法の新たな展開を探るべく、学習アルゴリズムのフィードバック方法を抜本的に改新することを検討してきた。本研究の本質的な特徴は、識別課題で重要な役割を果たす「マージン」という指標の平均にとどまらず、その確率分布自体を最適化の対象としてとらえていることが挙げられる。平成30年度の成果として、最初の取り口として、マージン分布の裾に引っ張られにくいパラメータを新たに特徴づけて、そのパラメータをデータから推定し、それを最大化しようとする新しい学習アルゴリズムの理論解析および入念な数値実験を行った。そのパラメータの新たな定義は多項式の形をとるトランケーション関数によって決まるのだが、そこには利点がいくつもある。外れ値の影響が受けにくく、統計的なロバスト性が長けている。また、この関数を導入したことによって、新たに提案している目的関数と二値識別率の関係を明示できるようになる。これは数学的な理論にとどまらず、多項式の形を利用すれば、提案関数と二値識別率の乖離がどの程度大きく成りうるか数値的に検証することも可能になる。このやや煩雑な計算を行うプログラムを副産物としてインターネット上で公開している。数値実験では、分布自体を制御する自由度がまだ低いが、種々のデータセットにおいてベンチマーク手法と同程度以上の性能を記録しており、基本的な原理は予想通りであった。特に、提案しているスケーリング係数をデータ駆動的に決めることで、コストのかかる正則化の作業を省くことができることも判明し、実用性のポテンシャルが高いと見ている。初期的ながら、理論とこの研究成果は統計的機械学習のトップカンファレンスの一つであるAISTATS 2019に採択された。

这项研究的重点是二进制识别，这是机器学习的最基本学习任务，并且已经考虑对学习算法的反馈方法进行重新介绍，以探索传统方法中的新发展。这项研究的基本特征是，不仅是称为“边距”的索引的平均值在识别任务中起着重要作用，而且概率分布本身也被视为优化的对象。由于2018年的结果，我们对一种新的学习算法进行了理论分析和仔细的数值实验，该算法旨在表征很难在边距分布的尾部提取的参数，从数据中估算参数，并最大化它们。该参数的新定义是由采用多项式形式的截断函数确定的，但是有很多优点。它不太可能受到异常值的影响，并且具有出色的统计鲁棒性。此外，通过引入此功能，可以清楚地表明新提出的目标函数与二进制识别率之间的关系。这不仅是一种数学理论，而且通过使用多项式的形式，可以数值验证所提出的函数与二进制歧视率之间的偏差多大。这个有些复杂的计算程序作为副产品在Internet上发布。尽管控制分布本身的自由度在数值实验中仍然很低，但在各种数据集中记录了与基准方法相当的数据集，并且基本原理是预期的。特别是，已经发现，通过确定提出的缩放系数数据驱动，昂贵的正则化工作可以消除，我们相信它具有很高的实用性潜力。尽管早期，但该理论和这一研究发现是在AISTATS 2019上采用的，这是统计机器学习中的最高会议之一。