Analysis of random sequential message passing algorithms for approximate inference
Analysis of random sequential message passing algorithms for approximate inference
复制标题
近似推理的随机顺序消息传递算法分析
DOI：
10.1088/1742-5468/ac764a
复制
发表时间：
2022
期刊：
影响因子：
--
通讯作者：
Opper, Manfred
中科院分区：
文献类型：
--
作者：
Çakmak, Burak;Lu, Yue M;Opper, Manfred
我们分析了一个随机顺序消息传递算法的动态近似推理与大高斯潜变量模型中的学生-教师的情况。为了对潜在变量之间的非平凡依赖关系进行建模，我们假设从旋转不变集合中提取随机协方差矩阵。此外，我们考虑一个模型不匹配的设置，其中教师模型和学生使用的模型可能是不同的。通过动力学泛函方法，我们得到了精确的动力学平均场方程表征推理算法的动力学。我们还推导出一系列的模型参数的顺序算法不收敛。该参数范围的边界与静态概率模型的复制对称分析的de Almeida无源（AT）稳定性条件相吻合。
We analyze the dynamics of a random sequential message passing algorithm for approximate inference with large Gaussian latent variable models in a student–teacher scenario. To model nontrivial dependencies between the latent variables, we assume random covariance matrices drawn from rotation invariant ensembles. Moreover, we consider a model mismatching setting, where the teacher model and the one used by the student may be different. By means of dynamical functional approach, we obtain exact dynamical mean-field equations characterizing the dynamics of the inference algorithm. We also derive a range of model parameters for which the sequential algorithm does not converge. The boundary of this parameter range coincides with the de Almeida Thouless (AT) stability condition of the replica-symmetric ansatz for the static probabilistic model.
登录
查看更多内容
从相关模式推断：感知器学习和线性向量通道的统一理论
DOI：
--
发表时间：
2008
期刊：
J. Phys. Conf. Ser. 95 012001
影响因子：
--
作者：
Y.;Kabashima
通讯作者：
Kabashima
从有限训练集在线学习
DOI：
10.1209/epl/i1997-00271-3
发表时间：
1997
期刊：
EPL (Europhysics Letters)
影响因子：
--
作者：
Peter Sollich;D. Barber
通讯作者：
D. Barber
DOI：
10.1088/1751-8121/ab8ff4
发表时间：
2020
期刊：
Journal of Physics A: Mathematical and Theoretical
影响因子：
--
作者：
Burak Çakmak;M. Opper
通讯作者：
M. Opper
影响因子：
8.6
作者：
EISSFELLER, H;OPPER, M
通讯作者：
OPPER, M
DOI：
10.1088/1742-5468/aafa7d
发表时间：
2019-02-01
影响因子：
2.4
作者：
Antenucci, Fabrizio;Krzakala, Florent;Zdeborova, Lenka
通讯作者：
Zdeborova, Lenka