Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
Oops I Took A Gradient: Scalable Sampling for Discrete Distributions
复制标题
糟糕，我采用了梯度：离散分布的可扩展采样
DOI：
10.1111/rssa.12630
复制
发表时间：
2021
期刊：
影响因子：
--
通讯作者：
Chris J. Maddison
中科院分区：
文献类型：
--
作者：
Will Grathwohl;Kevin Swersky;Milad Hashemi;D. Duvenaud;Chris J. Maddison
提出了一种适用于离散变量概率模型的通用可扩展近似抽样策略。我们的方法使用梯度的似然函数相对于其离散输入提出更新的大都会黑斯廷斯采样器。我们的经验表明，这种方法优于通用采样器在一些困难的设置，包括伊辛模型，波茨模型，限制玻尔兹曼机，阶乘隐马尔可夫模型。我们还演示了使用我们改进的采样器在高维离散数据上训练基于深度能量的模型。这种方法的性能优于变分自动编码器和现有的基于能量的模型。最后，我们给出的界限表明，我们的方法是近最佳的采样器，提出本地更新的类。
We propose a general and scalable approximate sampling strategy for probabilistic models with discrete variables. Our approach uses gradients of the likelihood function with respect to its discrete inputs to propose updates in a Metropolis-Hastings sampler. We show empirically that this approach outperforms generic samplers in a number of difficult settings including Ising models, Potts models, restricted Boltzmann machines, and factorial hidden Markov models. We also demonstrate the use of our improved sampler for training deep energy-based models on high dimensional discrete data. This approach outperforms variational auto-encoders and existing energy-based models. Finally, we give bounds showing that our approach is near-optimal in the class of samplers which propose local updates.
DOI：
--
发表时间：
2020-03
期刊：
ArXiv
影响因子：
--
作者：
Jun Han;Fan Ding;Xianglong Liu;L. Torresani;Jian Peng;Qiang Liu
通讯作者：
Jun Han;Fan Ding;Xianglong Liu;L. Torresani;Jian Peng;Qiang Liu
DOI：
--
发表时间：
2019-07
期刊：
--
影响因子：
--
作者：
Yang Song;Stefano Ermon
通讯作者：
Yang Song;Stefano Ermon