Provable Gradient Variance Guarantees for Black-Box Variational Inference
Provable Gradient Variance Guarantees for Black-Box Variational Inference
复制标题
黑盒变分推理的可证明梯度方差保证
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Justin Domke
中科院分区：
文献类型：
--
作者：
Justin Domke
最近的变分推理方法使用随机梯度估计，其方差不是很好地理解。这些估计量的理论保证对于理解这些方法何时起作用或不起作用是很重要的。本文给出了当目标是光滑的，变分族是位置-尺度分布时，常见的“重新参数化”估计的界。这些界限是不可改进的，因此在所述假设下提供了最好的保证。
Recent variational inference methods use stochastic gradient estimators whose variance is not well understood. Theoretical guarantees for these estimators are important to understand when these methods will or will not work. This paper gives bounds for the common "reparameterization" estimators when the target is smooth and the variational family is a location-scale distribution. These bounds are unimprovable and thus provide the best possible guarantees under the stated assumptions.