Inference With Deep Generative Priors in High Dimensions
Inference With Deep Generative Priors in High Dimensions
复制标题
高维深度生成先验的推理
DOI：
10.1109/jsait.2020.2986321
复制
发表时间：
2020
期刊：
影响因子：
--
通讯作者：
Fletcher, Alyson K.
中科院分区：
文献类型：
--
作者：
Pandit, Parthe;Sahraee-Ardakan, Mojtaba;Rangan, Sundeep;Schniter, Philip;Fletcher, Alyson K.
深度生成先验为复杂结构的数据（如图像、音频和文本）提供了强大的模型。在逆问题中使用这些先验通常需要通过观察其输出来估计多层深度神经网络中的输入和/或隐藏信号。虽然这些方法在实践中取得了成功，但由于底层优化问题的非凸性，严格的性能分析变得复杂。本文提出了一种新的多层向量近似消息传递算法（ML-VAMP），用于多层随机神经网络的推理。ML-VAMP可配置为计算这些网络的最大先验（MAP）或近似最小均方误差（MMSE）估计。我们表明，ML-VAMP的性能可以准确地预测在一定的高维随机限制。此外，在某些条件下，ML-VAMP产生实现最小值（即，贝叶斯最优）MSE，如通过复制方法预测的。通过这种方式，ML-VAMP提供了一种计算效率高的多层推理方法，具有精确的性能表征和大系统极限下的最优性可测试条件。
Deep generative priors offer powerful models for complex-structured data, such as images, audio, and text. Using these priors in inverse problems typically requires estimating the input and/or hidden signals in a multi-layer deep neural network from observation of its output. While these approaches have been successful in practice, rigorous performance analysis is complicated by the non-convex nature of the underlying optimization problems. This paper presents a novel algorithm, Multi-Layer Vector Approximate Message Passing (ML-VAMP), for inference in multi-layer stochastic neural networks. ML-VAMP can be configured to compute maximum a priori (MAP) or approximate minimum mean-squared error (MMSE) estimates for these networks. We show that the performance of ML-VAMP can be exactly predicted in a certain high-dimensional random limit. Furthermore, under certain conditions, ML-VAMP yields estimates that achieve the minimum (i.e., Bayes-optimal) MSE as predicted by the replica method. In this way, ML-VAMP provides a computationally efficient method for multi-layer inference with an exact performance characterization and testable conditions for optimality in the large-system limit.
登录
查看更多内容
影响因子：
32.8
作者：
Wainwright, Martin J.;Jordan, Michael I.
通讯作者：
Jordan, Michael I.
影响因子：
3.9
作者：
Roman Novak;Lechao Xiao;Yasaman Bahri;Jaehoon Lee;Greg Yang;Jiri Hron;Daniel A. Abolafia;Jeffrey Pennin
通讯作者：
Roman Novak;Lechao Xiao;Yasaman Bahri;Jaehoon Lee;Greg Yang;Jiri Hron;Daniel A. Abolafia;Jeffrey Pennin
DOI：
10.1016/b978-0-12-386908-1.00037-9
发表时间：
2018-11
期刊：
Wiley Series in Probability and Statistics
影响因子：
--
作者：
Bruce E. Blaine
通讯作者：
Bruce E. Blaine
影响因子：
5.4
作者：
Subrata Sarkar;A. Fletcher;S. Rangan;Philip Schniter
通讯作者：
Subrata Sarkar;A. Fletcher;S. Rangan;Philip Schniter
影响因子：
2.5
作者：
Paul Hand;V. Voroninski
通讯作者：
Paul Hand;V. Voroninski