Robust and efficient learning algorithms through control of margin distributions

点击翻译按钮获取中文摘要

本研究では、機械学習のもっとも基礎的な学習課題である二値識別に着目し、従来の手法の新たな展開を探るべく、学習アルゴリズムのフィードバック方法を抜本的に改新することを検討してきた。本研究の本質的な特徴は、識別課題で重要な役割を果たす「マージン」という指標の平均にとどまらず、その確率分布自体を最適化の対象としてとらえていることが挙げられる。平成30年度の成果として、最初の取り口として、マージン分布の裾に引っ張られにくいパラメータを新たに特徴づけて、そのパラメータをデータから推定し、それを最大化しようとする新しい学習アルゴリズムの理論解析および入念な数値実験を行った。そのパラメータの新たな定義は多項式の形をとるトランケーション関数によって決まるのだが、そこには利点がいくつもある。外れ値の影響が受けにくく、統計的なロバスト性が長けている。また、この関数を導入したことによって、新たに提案している目的関数と二値識別率の関係を明示できるようになる。これは数学的な理論にとどまらず、多項式の形を利用すれば、提案関数と二値識別率の乖離がどの程度大きく成りうるか数値的に検証することも可能になる。このやや煩雑な計算を行うプログラムを副産物としてインターネット上で公開している。数値実験では、分布自体を制御する自由度がまだ低いが、種々のデータセットにおいてベンチマーク手法と同程度以上の性能を記録しており、基本的な原理は予想通りであった。特に、提案しているスケーリング係数をデータ駆動的に決めることで、コストのかかる正則化の作業を省くことができることも判明し、実用性のポテンシャルが高いと見ている。初期的ながら、理論とこの研究成果は統計的機械学習のトップカンファレンスの一つであるAISTATS 2019に採択された。