Learning and Inference in Sparse Coding Models With Langevin Dynamics
Learning and Inference in Sparse Coding Models With Langevin Dynamics
复制标题
利用 Langevin Dynamics 进行稀疏编码模型的学习和推理
DOI：
10.1162/neco_a_01505
复制
发表时间：
2022
影响因子：
2.9
通讯作者：
Olshausen, Bruno A.
中科院分区：
文献类型：
--
作者：
Fang, Michael Y.-S.;Mudigonda, Mayur;Zarcone, Ryan;Khosrowshahi, Amir;Olshausen, Bruno A.
我们描述了一个随机的，动态的系统能够推理和学习的概率潜变量模型。在这样的模型中最具挑战性的问题-采样的后验分布在潜在的变量-提出要解决利用自然资源的随机性固有的电子和神经系统。我们证明了这一想法的稀疏编码模型推导出一个连续时间方程，通过朗之万动力学推断其潜变量。通过根据另一个连续时间方程同时进化来学习模型参数，从而绕过了对数字时钟或全局时钟的需要。此外，我们表明，朗之万动力学导致一个有效的程序，从后验分布在thesparse制度，鼓励潜变量被设置为零，而不是有一个smallnorm的采样。这使得模型能够正确地融入稀疏性的概念，而不必诉诸稀疏性的宽松版本来使优化变得易于处理。在合成和自然图像数据集上对所提出的动态系统进行的模拟表明，该模型能够进行概率正确的推理，从而能够学习字典以及先验参数。
We describe a stochastic, dynamical system capable of inference and learning in a probabilistic latent variable model. The most challenging problem in such models—sampling the posterior distribution over latent variables—is proposed to be solved by harnessing natural sources of stochasticity inherent in electronic and neural systems. We demonstrate this idea for a sparse coding model by deriving a continuous-time equation for inferring its latent variables via Langevin dynamics. The model parameters are learned by simultaneously evolving according to another continuous-time equation, thus bypassing the need for digital accumulators or a global clock. Moreover, we show that Langevin dynamics lead to an efficient procedure for sampling from the posterior distribution in thesparse regime, where latent variables are encouraged to be set to zero as opposed to having a smallnorm. This allows the model to properly incorporate the notion of sparsity rather than having to resort to a relaxed version of sparsity to make optimization tractable. Simulations of the proposed dynamical system on both synthetic and natural image data sets demonstrate that the model is capable of probabilistically correct inference, enabling learning of the dictionary as well as parameters of the prior.
登录
查看更多内容
光子循环Ising采样器
DOI：
10.23919/cleo.2019.8749558
发表时间：
2018
期刊：
2019 Conference on Lasers and Electro-Optics (CLEO)
影响因子：
--
作者：
C. Roques;Yichen Shen;Cristian Zanoci;Mihika Prabhu;Fadi Atieh;Li Jing;T. Dubček;V. Ceperic;J. Joannopoulos;D. Englund;M. Soljačić
通讯作者：
M. Soljačić
DOI：
10.1364/josaa.20.001434
发表时间：
2003-07-01
影响因子：
1.9
作者：
Lee, TS;Mumford, D
通讯作者：
Mumford, D
影响因子：
38.3
作者：
Sheridan, Patrick M.;Cai, Fuxi;Lu, Wei D.
通讯作者：
Lu, Wei D.
DOI：
--
发表时间：
2007-12
期刊：
--
影响因子：
--
作者：
P. Berkes;Richard E. Turner;M. Sahani
通讯作者：
P. Berkes;Richard E. Turner;M. Sahani
DOI：
--
发表时间：
2019-08
期刊：
ArXiv
影响因子：
--
作者：
Wenlong Mou;Yian Ma;Yi-An Ma;M. Wainwright;P. Bartlett;Michael I. Jordan
通讯作者：
Wenlong Mou;Yian Ma;Yi-An Ma;M. Wainwright;P. Bartlett;Michael I. Jordan