Posterior Collapse of a Linear Latent Variable Model-猫眼课题宝

DOI：

10.48550/arxiv.2205.04009

发表时间：

2022-05

期刊：

ArXiv

影响因子：

通讯作者：

中科院分区：

其他

文献类型：

作者：

Zihao Wang;Liu Ziyin

这项工作确定了贝叶斯深度学习实践中经常发生的一种后验崩溃的存在和原因。对于一个一般的线性潜变量模型，包括线性变分自编码器作为一种特殊情况下，我们精确地识别后验崩溃的性质是由于先验的均值的似然和正则化之间的竞争。我们的研究结果表明，后部塌陷可能与神经塌陷和维度塌陷有关，可能是更深层次结构学习的一般问题的一个子类。

This work identifies the existence and cause of a type of posterior collapse that frequently occurs in the Bayesian deep learning practice. For a general linear latent variable model that includes linear variational autoencoders as a special case, we precisely identify the nature of posterior collapse to be the competition between the likelihood and the regularization of the mean due to the prior. Our result suggests that posterior collapse may be related to neural collapse and dimensional collapse and could be a subclass of a general problem of learning for deeper architectures.

Posterior Collapse of a Linear Latent Variable Model

文献摘要

相似文献