Novel learning algorithms through off-sample generalization metric design

点击翻译按钮获取中文摘要

本年度の主な成果は幅広い損失分布のスケールにかかわらず、平均的な性能、バラツキの抑制、外れ値に対する頑健性をバランスよく調節できる最適化法の導出と初期的な実験検証である。この手法は平滑性のある疑似Huber関数を導入して新しいリスク関数を設計しており、Sun (2021)がロバストな期待値推定の文脈で示したスケール適応の原理を頼りに、M推定量を大きく超越してあらゆる損失関数へ拡張し、位置とスケールを学習モデルのパラメータとともに効率よく学習する方法を提案し、平均と分散を総合した学習問題における有用性を検証した。微調整を要することなく、分散の抑制に役立つことがわかっているリスク指標と比べて優位になるデータセットがあること、計算オーバーヘッドも許容範囲であることなどは確認できたが、幅広いデータセットを対象とした場合の平均的な性能の向上は課題として残っている。学習法の導出と実験結果をまとめた論文を執筆し、近く投稿する予定である。さらに、提案手法を他の学習問題に応用したり、上述の論文中の実験結果を再現したりするために、numpyを中心とした拡張性の高いソフトウェアとデモンストレーション用のJupyterノートブックを作成し、GitHubのリポジトリに載せて一般公開している。