Meta-modeling method for a set of energy-based models

点击翻译按钮获取中文摘要

本年度ではまず（1）スコアマッチングに基づいた任意の指数型分布族集合に対するメタモデリングのアルゴリズム開発をおこなった．これにより正規化が容易なガウス分布や多値分布のような標準的な分布だけでなく，正規化が困難な指数型分布族も含めて統一的に扱えるメタモデリングを可能にした．特に，開発したアルゴリズムは各パラメータの目的関数が２次形式で表すことができるため，様々な学習タスクやモデルを幅広く表現できる柔軟性と学習の安定性の両立を可能にした．次に（2）スコアマッチングベースのメタモデリング法を無限次元の指数型分布族へ拡張し，さらにその高速化も実現した．これによって，ノンパラメトリックな分布のマルチタスク学習やfew shot learningも可能にした．さらに（３）デノイジングスコアマッチングに基づいたメタモデリング法の開発も行った．これにより，入力空間が高次元の場合に自動微分を用いても高速に計算ができる指数分布族集合のメタモデリングを実現し，事前学習済みのニューラルネットワークを十分統計量とする指数型分布族集合のメタモデリングが可能となった． 従って，事前学習済みである必要はあるものの深層学習やノンパラメトリックな分布も含む幅広い確率モデルに対して統一的に適用可能なメタモデリング法を実現することができた．