Beyond Prediction: A Framework for Inference With Variational Approximations in Mixture Models
Beyond Prediction: A Framework for Inference With Variational Approximations in Mixture Models
复制标题
超越预测：混合模型中变分近似的推理框架
DOI：
10.1080/10618600.2019.1609977
复制
发表时间：
2019
影响因子：
2.4
通讯作者：
McCormick, T. H.
中科院分区：
文献类型：
--
作者：
Westling, T.;McCormick, T. H.
变分推理是一种流行的方法，用于估计分层和混合模型中的模型参数和条件分布，这在健康，社会和生物科学的许多环境中经常出现。在频率论的背景下，变分推理的工作原理是用一个易处理的族来近似难以处理的条件分布，并优化由此产生的对数似然下界。变分目标函数通常比真正的可能性更少计算密集，使科学家能够适应丰富的模型，即使是非常大的数据集。尽管广泛使用，很少有人知道的一般理论性质的估计所产生的变分近似的对数似然，这阻碍了他们的使用在推理统计。在这篇文章中，我们连接这样的估计profileM-估计，这使我们能够提供变分估计的一致性和渐近正态性的正则性条件。我们的理论还激励三个方法的改进变分推断：估计的渐近模型稳健的协方差矩阵，一步校正，提高估计效率，和一致性的经验评估。我们使用模拟研究和国家青年纵向研究大麻使用的数据来评估所提出的结果。本文的补充材料可在网上查阅。
Variational inference is a popular method for estimating model parameters and conditional distributions in hierarchical and mixed models, which arise frequently in many settings in the health, social, and biological sciences. Variational inference in a frequentist context works by approximating intractable conditional distributions with a tractable family and optimizing the resulting lower bound on the log-likelihood. The variational objective function is typically less computationally intensive to optimize than the true likelihood, enabling scientists to fit rich models even with extremely large datasets. Despite widespread use, little is known about the general theoretical properties of estimators arising from variational approximations to the log-likelihood, which hinders their use in inferential statistics. In this article, we connect such estimators to profileM-estimation, which enables us to provide regularity conditions for consistency and asymptotic normality of variational estimators. Our theory also motivates three methodological improvements to variational inference: estimation of the asymptotic model-robust covariance matrix, a one-step correction that improves estimator efficiency, and an empirical assessment of consistency. We evaluate the proposed results using simulation studies and data on marijuana use from the National Longitudinal Study of Youth. Supplementary materials for this article are available online.
登录
查看更多内容
影响因子：
3.3
作者：
J. K. Pritchard;Matthew Stephens;Peter Donnelly
通讯作者：
J. K. Pritchard;Matthew Stephens;Peter Donnelly
影响因子：
32.8
作者：
Wainwright, Martin J.;Jordan, Michael I.
通讯作者：
Jordan, Michael I.
具有随机效应的多元离散比例风险模型的高效半参数贝叶斯估计
DOI：
--
发表时间：
2009
期刊：
Communications in Statisteics-Theory and Methods Vol.38No.1
影响因子：
--
作者：
中山武憲;小川英治;Y. Omori and R. A. Johnson
通讯作者：
Y. Omori and R. A. Johnson
随机块模型的极大似然渐近正态性及其变分逼近
影响因子：
4.5
作者：
Bickel, Peter;Choi, David;Zhang, Hai
通讯作者：
Zhang, Hai
关于具有缺失值的马尔可夫模型中基于似然性的推理的变分下界函数的充分性
DOI：
10.1111/1467-9868.00350
发表时间：
2002
期刊：
Journal of the Royal Statistical Society: Series B (Statistical Methodology)
影响因子：
--
作者：
P. Hall;Keith Humphreys;D. Titterington
通讯作者：
D. Titterington