Novel learning algorithms through off-sample generalization metric design

通过样本外泛化度量设计的新颖学习算法

基本信息

批准号：
22H03646
负责人：
HOLLAND Matthew・James
金额：
$ 10.98万
依托单位：
Osaka University
依托单位国家：
日本
项目类别：
Grant-in-Aid for Scientific Research (B)
财政年份：
2022
资助国家：
日本
起止时间：
2022-04-01 至 2026-03-31
项目状态：
未结题

来源：
https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22H03646/
关键词：
統計的学習理論機械学習確率的最適化

项目摘要

本年度の主な成果は幅広い損失分布のスケールにかかわらず、平均的な性能、バラツキの抑制、外れ値に対する頑健性をバランスよく調節できる最適化法の導出と初期的な実験検証である。この手法は平滑性のある疑似Huber関数を導入して新しいリスク関数を設計しており、Sun (2021)がロバストな期待値推定の文脈で示したスケール適応の原理を頼りに、M推定量を大きく超越してあらゆる損失関数へ拡張し、位置とスケールを学習モデルのパラメータとともに効率よく学習する方法を提案し、平均と分散を総合した学習問題における有用性を検証した。微調整を要することなく、分散の抑制に役立つことがわかっているリスク指標と比べて優位になるデータセットがあること、計算オーバーヘッドも許容範囲であることなどは確認できたが、幅広いデータセットを対象とした場合の平均的な性能の向上は課題として残っている。学習法の導出と実験結果をまとめた論文を執筆し、近く投稿する予定である。さらに、提案手法を他の学習問題に応用したり、上述の論文中の実験結果を再現したりするために、numpyを中心とした拡張性の高いソフトウェアとデモンストレーション用のJupyterノートブックを作成し、GitHubのリポジトリに載せて一般公開している。

今年的主要结果是优化方法的推导，这些方法可以平衡平均性能，变异的抑制和对异常值的鲁棒性，而不管损失的广泛分布的规模以及初始的实验验证。此方法引入了平滑的伪Huber功能来设计新的风险功能。依靠Sun（2021）在稳健期望估计的背景下提出的规模适应原理，我们提出了一种显着超越M估计器的方法，并将其扩展到任何损失函数，并有效地学习位置和缩放与学习模型的参数，并在学习模型的参数中进行研究，并在学习问题中结合其平均值和差异。尽管已经确认有一个数据集优于风险指标，该数据集已知可以帮助抑制方差而无需进行微调，并且该计算开销也是可以接受的，但针对广泛的数据集时，平均性能的改善仍然是一个挑战。我将写一篇论文，总结了学习方法和实验结果的推导，并将很快提交。此外，为了将提出的方法应用于其他学习问题，并在上述论文中重现了实验结果，已经创建了以Numpy为中心的高度可扩展软件，并且已创建了以示威为中心的笔记本，并在GitHub存储库中发布，以使其公开。