ロス関数の自動選択アルゴリズムと系列データへの拡張の解析

自动损失函数选择算法分析及对序列数据的扩展

基本信息

批准号：
16J06659
负责人：
HOLLAND Matthew James (2017)
金额：
$ 1.02万
依托单位：
Nara Institute of Science and Technology
依托单位国家：
日本
项目类别：
Grant-in-Aid for JSPS Fellows
财政年份：
2016
资助国家：
日本
起止时间：
2016-04-22 至 2018-03-31
项目状态：
已结题

来源：
https://kaken.nii.ac.jp/grant/KAKENHI-PROJECT-16J06659/
关键词：
機械学習統計的学習理論ロバスト推定確率的最適化

项目摘要

本研究では、機械学習アルゴリズムで使われる「フィードバック」に相当する損失関数をデータに応じて自動的に決めていく方法論を築き上げることが目的であった。そのために、計算効率と統計的推定の精度の両立を念頭に入れつつ、新しいアルゴリズムを提案し、その学習能力を理論および数値実験によって解析してきた。以下の2点を中心に研究を行った。1. 頑健な目的関数を用いた学習機の高速化と安定化：経験損失最小化(ERM)がという学習則は、理論上の知見が多く、実装も簡易であるという利点を持つ一方、データの標本ごとのばらつきや外れ値に対しては敏感で、都合の悪いデータでは性能が大きく低下するという脆弱性もある。ERMの目的関数を改良すべく、外れ値と判断されるデータを破棄するのではなく、その影響を連続的に抑える仕組みと新しい目的関数を高速に最小化する方法を開発し、多種の学習課題において、案手法はERMと同程度の計算量で、より安定的に高い汎化性能を確認した。2. ロバスト勾配下降法による学習効率の向上：ニューラルネットワークをはじめとして、近年の機械学習手法は自由パラメータが多く、計算コストの抑えやすい勾配降下法(GD)の一種が使われる。しかしながら、GDは先述のERMを実装する上で使われるため、統計的推定の粗さによって、最適化作業が乱されやすくなってしまう。結果として、多くのサンプル数(コスト＝データ)と反復回数(コスト＝時間)がなければ、良い解には至らない。この弱点を解決して学習効率を上げるために、上記(1.)の知見を踏まえて、GD特有の頑健な設計方法を開発し、実験・理論ともに優れた汎化能力と高い実用性を示した。頑健性を欠くERM系の各手法と比較して、データの分布に依らず性能を保持する能力が長けている。この成果を出発点にして、「推論×計算」の統合的アプローチを様々な問題領域へと展開していく予定である。

这项研究的目的是构建一种方法，该方法可以自动确定基于数据中的机器学习算法中使用的“反馈”损失函数。为此，我们已经考虑了计算效率和统计估计精度，提出了新的算法，并通过理论和数值实验分析了他们的学习能力。该研究的重点是以下两个方面：1。使用强大的目标功能加速和稳定学习机：最小化经验损失的学习规则（ERM）具有拥有大量理论知识并简化实施的优势，但它的易于对数据示例的变量和差异敏感，并且具有明显的数据示例，并且具有明显的降级性能，并且具有降级性的性能。为了提高ERM的目标函数，而不是丢弃被认为是异常值的数据，我们已经开发了一种机制来不断抑制数据的影响和一种快速最小化新目标函数的方法。在各种学习任务中，所提出的方法具有与ERM相同的计算，并确认了更稳定和更高的概括性能。 2。通过稳健的梯度下降提高学习效率：包括神经网络在内的最新机器学习方法具有许多免费参数和一种梯度下降（GD），易于降低计算成本。但是，由于GD用于实施上述ERM，因此统计估计值的粗糙度使优化更有可能被破坏。结果，没有大量样本（成本=数据）和迭代次数（成本=时间），将无法实现一个好的解决方案。为了解决这一弱点并提高学习效率，我们根据上述（1.）中的发现开发了一种与GD独特的强大设计方法，并在实验和理论中证明了出色的概括能力和高实用性。与缺乏鲁棒性的基于ERM的方法相比，无论数据分布如何，它们具有较高的保持性能的能力。将此结果作为起点，我们计划将“推理X计算”的集成方法开发为各种问题领域。

项目成果

期刊论文数量（0）

专著数量（0）

科研奖励数量（0）

会议论文数量（0）

专利数量（0）

Alternative targets for building better learners

培养更好学习者的替代目标

DOI：
发表时间：
2016
期刊：
影响因子：
0
作者：
Holland;Matthew J. and Ikeda;Kazushi;Matthew J. Holland and Kazushi Ikeda
通讯作者：
Matthew J. Holland and Kazushi Ikeda

Robust regression using biased objectives

DOI：
10.1007/s10994-017-5653-5
发表时间：
2017-07
期刊：
Machine Learning
影响因子：
7.5
作者：
Matthew J. Holland;K. Ikeda
通讯作者：
Matthew J. Holland;K. Ikeda

Stabilization of learning algorithms and optimal suppression of noise

学习算法的稳定性和噪声的最优抑制

DOI：
发表时间：
2016
期刊：
影响因子：
0
作者：
Holland;Matthew J. and Ikeda;Kazushi;Matthew J. Holland and Kazushi Ikeda;Matthew J. Holland and Kazushi Ikeda
通讯作者：
Matthew J. Holland and Kazushi Ikeda

Efficient learning with robust gradient descent

通过稳健的梯度下降实现高效学习