Meta-modeling method for a set of energy-based models

一组基于能量的模型的元建模方法

• 批准号: 22K17951
• 负责人: 石橋 英朗
• 金额: $ 1.5万
• 依托单位: Kyushu Institute of Technology
• 依托单位国家: 日本
• 项目类别: Grant-in-Aid for Early-Career Scientists
• 财政年份: 2022
• 资助国家: 日本
• 起止时间: 2022-04-01 至 2024-03-31
• 项目状态: 已结题
• 来源: https://kaken.nii.ac.jp/en/grant/KAKENHI-PROJECT-22K17951/
• 关键词: メタモデリング; スコアマッチング; Energy-based model; 情報幾何学; メタ学習; マルチタスク学習

本年度ではまず（1）スコアマッチングに基づいた任意の指数型分布族集合に対するメタモデリングのアルゴリズム開発をおこなった．これにより正規化が容易なガウス分布や多値分布のような標準的な分布だけでなく，正規化が困難な指数型分布族も含めて統一的に扱えるメタモデリングを可能にした．特に，開発したアルゴリズムは各パラメータの目的関数が２次形式で表すことができるため，様々な学習タスクやモデルを幅広く表現できる柔軟性と学習の安定性の両立を可能にした．次に（2）スコアマッチングベースのメタモデリング法を無限次元の指数型分布族へ拡張し，さらにその高速化も実現した．これによって，ノンパラメトリックな分布のマルチタスク学習やfew shot learningも可能にした．さらに（３）デノイジングスコアマッチングに基づいたメタモデリング法の開発も行った．これにより，入力空間が高次元の場合に自動微分を用いても高速に計算ができる指数分布族集合のメタモデリングを実現し，事前学習済みのニューラルネットワークを十分統計量とする指数型分布族集合のメタモデリングが可能となった． 従って，事前学習済みである必要はあるものの深層学習やノンパラメトリックな分布も含む幅広い確率モデルに対して統一的に適用可能なメタモデリング法を実現することができた．

今年，我们首先开发了一种基于（1）分数匹配的指数分布家族的任意指数分配系的元模型算法。这允许可以以统一的方式使用的元模型，包括标准分布，例如高斯和多价值分布，这些分布易于归一化，以及难以正常化的指数分布家族。特别是，开发的算法允许以二次形式表达每个参数的目标函数，从而实现灵活性和学习稳定性，从而实现了各种学习任务和模型的广泛表达。接下来，（2）将基于得分匹配的元模块化方法扩展到无限维指数分布组，此外，也已经实现了。这也使非参数分配多任务处理和很少的射击学习。此外，（3）还开发了一种基于脱氧分子分数匹配的元模块方法。这使得在输入空间高时即使使用自动分化也可以在高速上计算的指数分布组的元模型，从而可以使用预处理的神经网络对指数分布的集合进行统计。因此，尽管有必要仔细考虑，但有可能实现一种可以统一应用于广泛的概率模型的元模型方法，包括深度学习和非参数分布。

项目成果

A stopping criterion for Bayesian optimization by the gap of expected minimum simple regrets

• 发表时间: 2023
• 作者: Hideaki Ishibashi;Masayuki Karasuyama;I. Takeuchi;H. Hino