Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
复制标题
贝叶斯模型无关元学习是否比模型无关元学习更好？
DOI：
10.48550/arxiv.2203.03059
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Tianyi
中科院分区：
文献类型：
--
作者：
Lisha Chen;Tianyi
Meta学习的目标是学习一种能够快速适应未知任务的模型。广泛使用的Meta学习方法包括模型不可知Meta学习（MAML），隐式MAML，贝叶斯MAML。由于其建模不确定性的能力，贝叶斯MAML往往具有优越的经验性能。然而，对贝叶斯MAML的理论理解仍然有限，特别是在贝叶斯MAML是否以及何时具有比MAML更好的性能等问题上。在本文中，我们的目的是提供理论上的理由贝叶斯MAML的优势性能比较MAML和贝叶斯MAML的Meta测试风险。在Meta线性回归中，在分布不可知和线性质心的情况下，我们已经建立了贝叶斯MAML确实具有可证明的较低的Meta测试风险比MAML。我们通过实验验证了我们的理论结果。
Meta learning aims at learning a model that can quickly adapt to unseen tasks. Widely used meta learning methods include model agnostic meta learning (MAML), implicit MAML, Bayesian MAML. Thanks to its ability of modeling uncertainty, Bayesian MAML often has advantageous empirical performance. However, the theoretical understanding of Bayesian MAML is still limited, especially on questions such as if and when Bayesian MAML has provably better performance than MAML. In this paper, we aim to provide theoretical justifications for Bayesian MAML's advantageous performance by comparing the meta test risks of MAML and Bayesian MAML. In the meta linear regression, under both the distribution agnostic and linear centroid cases, we have established that Bayesian MAML indeed has provably lower meta test risks than MAML. We verify our theoretical results through experiments.
登录
查看更多内容
DOI：
--
发表时间：
2018
期刊：
--
影响因子：
--
作者：
Giulia Denevi;C. Ciliberto;Dimitris Stamos;M. Pontil
通讯作者：
Giulia Denevi;C. Ciliberto;Dimitris Stamos;M. Pontil
DOI：
--
发表时间：
2019-09
期刊：
--
影响因子：
--
作者：
A. Rajeswaran;Chelsea Finn;S. Kakade;S. Levine
通讯作者：
A. Rajeswaran;Chelsea Finn;S. Kakade;S. Levine
DOI：
--
发表时间：
2020-10
期刊：
ArXiv
影响因子：
--
作者：
Yu Bai;Minshuo Chen;Pan Zhou;T. Zhao;J. Lee;S. Kakade;Haiquan Wang;Caiming Xiong
通讯作者：
Yu Bai;Minshuo Chen;Pan Zhou;T. Zhao;J. Lee;S. Kakade;Haiquan Wang;Caiming Xiong
使用新颖的融合功能和极限学习机自动检测癫痫脑电图
影响因子：
6
作者：
Song, Jiang-Ling;Hu, Wenfeng;Zhang, Rui
通讯作者：
Zhang, Rui