A Theoretical Case Study of Structured Variational Inference for Community Detection
A Theoretical Case Study of Structured Variational Inference for Community Detection
复制标题
用于社区检测的结构化变分推理的理论案例研究
DOI：
--
复制
发表时间：
2019
期刊：
影响因子：
--
通讯作者：
Purnamrita Sarkar
中科院分区：
文献类型：
--
作者：
Mingzhang Yin;Y. X. R. Wang;Purnamrita Sarkar
平均场变分推理（MFVI）已广泛应用于大规模贝叶斯推理。然而，MFVI 假设潜在变量的乘积分布，通常会导致目标函数具有许多局部最优，从而使优化算法对初始化敏感。在本文中，我们研究了两类随机块模型的结构化变分推理的优势。变分分布被构造为对网络节点具有成对依赖结构。我们证明，在广泛的密度范围和一般随机初始化中，与 MFVI 不同，当模型参数已知、在合理范围内估计或与变分参数联合优化时，从我们的方法估计的类标签以高概率收敛到地面实况。此外，我们凭经验证明，当图形稀疏且信噪比较低时，结构化 VI 比 MFVI 更稳健。本文朝着理解依赖结构在社区检测变分推理中的重要性迈出了第一步。
Mean-field variational inference (MFVI) has been widely applied in large scale Bayesian inference. However MFVI, which assumes a product distribution on the latent variables, often leads to objective functions with many local optima, making optimization algorithms sensitive to initialization. In this paper, we study the advantage of structured variational inference for the two class Stochastic Blockmodel. The variational distribution is constructed to have pairwise dependency structure on the nodes of the network. We prove that, in a broad density regime and for general random initializations, unlike MFVI, the class labels estimated from our method converge to the ground truth with high probability, when the model parameters are known, estimated within a reasonable range or jointly optimized with the variational parameters. In addition, empirically we demonstrate structured VI is more robust compared with MFVI when the graph is sparse and the signal to noise ratio is low. The paper takes a first step towards understanding the importance of dependency structure in variational inference for community detection.
登录
查看更多内容
DOI：
10.1214/15-aap1145
发表时间：
2013-09
期刊：
--
影响因子：
--
作者：
Elchanan Mossel;Joe Neeman;A. Sly
通讯作者：
Elchanan Mossel;Joe Neeman;A. Sly
DOI：
--
发表时间：
2018-02
期刊：
--
影响因子：
--
作者：
B. Ghorbani;H. Javadi;A. Montanari
通讯作者：
B. Ghorbani;H. Javadi;A. Montanari
影响因子：
8.6
作者：
Hofman, Jake M.;Wiggins, Chris H.
通讯作者：
Wiggins, Chris H.
超越预测：混合模型中变分近似的推理框架
影响因子：
2.4
作者：
Westling, T.;McCormick, T. H.
通讯作者：
McCormick, T. H.
当随机初始化有帮助时：社区检测的变分推理研究
影响因子：
6
作者：
Purnamrita Sarkar, Y. X.
通讯作者：
Purnamrita Sarkar, Y. X.