情報幾何学を用いた有本アルゴリズム及びインフォマックスの高速化

点击翻译按钮获取中文摘要

本研究では, Infomax的な観点から, 現在のAI分野重要課題である分布外汎化問題を解決することを試みていた. 深層学習は従来法を凌駕するデータからの学習を可能にした一方で, 学習時とは異なる分布から発生したデータに対しては正しい推論ができないことが指摘されており, この問題は分布外汎化問題と呼ばれている. 昨年度までは, この分布外汎化問題への既存手法のボトルネックのなっていた高いアノテーションコストを削減するための方法論を提案し, 数値的に有効性を実証していた. 昨年の実績を踏まえ, 本年度は, 1. 昨年度の提案手法である, 低アノテーション分布外汎化法の理論保証, 2. 既存の分布外汎化手法の理論保証の二点の研究を行なった. 上記二点の研究の詳細および得られた結果は以下である.1. 昨年度行なった低アノテーション分布外汎化法の理論的な有効性を検証した. その結果, アノテーションコストの下げ方に一定の条件がある場合, 昨年の提案手法は理論上も高い性能を誇る手法であることを示した.2. 昨年の提案手法に留まらず, いままでの分布外汎化問題への既存手法は, 応用上の有効性に反し, 理論上の性能は非常に限定的な状況下でしか示されていなかった. 研究1の理論解析で開発した理論的なテクニックを援用し, 既存法の理論的有効性も同様に証明できる可能性を検討し, 代表的な既存手法であるInvariant RIsk Minimization(IRM)という方法の理論解析を行った. その結果, IRMが, 非常に広範なデータに対し高い性能が誇ることを理論的に証明した.昨年度の結果に研究1を加えた結果は, 機械学習世界最難関国際会議NeurIPSの本会議に採択された. 研究2は, 論文執筆を完了し, 投稿にむけた細かい微調整を施している段階である.