Generative Modeling by Estimating Gradients of the Data Distribution
Generative Modeling by Estimating Gradients of the Data Distribution
复制标题
DOI：
--
复制
发表时间：
2019-07
期刊：
影响因子：
--
通讯作者：
Yang Song;Stefano Ermon
中科院分区：
文献类型：
--
作者：
Yang Song;Stefano Ermon
我们引入了一种新的生成模型，其中样本是通过朗之万动态产生的，使用分数匹配估计的数据分布的梯度。由于数据在低维流形上时，梯度可能定义不清且难以估计，因此我们用不同水平的高斯噪声对数据进行扰动，并共同估计相应的分数，即扰动后数据分布在所有噪声水平下的梯度向量场。对于采样，我们提出了一个退火朗万动力学，其中我们使用梯度对应于随着采样过程越来越接近数据流形而逐渐降低的噪声水平。我们的框架允许灵活的模型架构，在训练期间不需要采样或使用对抗方法，并提供可用于原则模型比较的学习目标。我们的模型产生的样本与MNIST、CelebA和CIFAR-10数据集上的gan相当，在CIFAR-10上获得了新的最先进的初始分数8.87。此外，我们通过图像绘制实验证明了我们的模型学习了有效的表征。
We introduce a new generative model where samples are produced via Langevin dynamics using gradients of the data distribution estimated with score matching. Because gradients can be ill-defined and hard to estimate when the data resides on low-dimensional manifolds, we perturb the data with different levels of Gaussian noise, and jointly estimate the corresponding scores, i.e., the vector fields of gradients of the perturbed data distribution for all noise levels. For sampling, we propose an annealed Langevin dynamics where we use gradients corresponding to gradually decreasing noise levels as the sampling process gets closer to the data manifold. Our framework allows flexible model architectures, requires no sampling during training or the use of adversarial methods, and provides a learning objective that can be used for principled model comparisons. Our models produce samples comparable to GANs on MNIST, CelebA and CIFAR-10 datasets, achieving a new state-of-the-art inception score of 8.87 on CIFAR-10. Additionally, we demonstrate that our models learn effective representations via image inpainting experiments.