Generalized Memory Approximate Message Passing for Generalized Linear Model
Generalized Memory Approximate Message Passing for Generalized Linear Model
复制标题
广义线性模型的广义记忆近似消息传递
DOI：
10.1109/tsp.2022.3213414
复制
发表时间：
2022
影响因子：
5.4
通讯作者：
Chen Xiaoming
中科院分区：
文献类型：
--
作者：
Tian Feiyan;Liu Lei;Chen Xiaoming
对于广义线性模型（GLM）中的信号重构，广义近似消息传递（GAMP）是一种低复杂度的算法，具有许多吸引人的特性，例如在高维极限下的精确性能表征。然而，只有当变换矩阵具有独立同分布（IID）项时，它才是可行的。广义矢量AMP（GVAMP）具有更广泛的适用性，但计算复杂度高。为了克服GAMP和GVAMP的缺点，提出了一种低复杂度、适用范围广的广义记忆AMP（GMAMP）框架，包括一个正交记忆线性估计器（MLE）和两个正交记忆非线性估计器（MNLE），保证了GMAMP中估计误差和状态演化的渐近IID高斯性.所提出的GMAMP是通用的，因为现有的AMP，卷积AMP，正交/矢量AMP，GVAMP和内存AMP（MAMP）是它的特殊实例。更重要的是，我们提供了一个原则，建立新的先进的AMP型算法的基础上提出的GMAMP框架。作为一个例子，我们构造了一个贝叶斯最优GMAMP算法（BO-GMAMP），它采用记忆匹配滤波器估计器来抑制线性干扰，因此其复杂度与GAMP相当。此外，我们证明了具有优化参数的BO-GMAMP的SE收敛到与高复杂度GVAMP相同的不动点。换句话说，BO-GMAMP实现了副本最小值（即，潜在的贝叶斯最优）均方误差（MSE），如果它的SE有一个唯一的固定点。最后通过仿真验证了理论分析的正确性。
For signal reconstruction in a generalized linear model (GLM), generalized approximate message passing (GAMP) is a low-complexity algorithm with many appealing features such as an exact performance characterization in the high-dimensional limit. However, it is viable only when the transformation matrix has independent and identically distributed (IID) entries. Generalized vector AMP (GVAMP) has a wider applicability but with high computational complexity. To overcome the shortcomings of GAMP and GVAMP, we propose a low-complexity and widely applicable generalized memory AMP (GMAMP) framework, including an orthogonal memory linear estimator (MLE) and two orthogonal memory nonlinear estimators (MNLE), which guarantee the asymptotic IID Gaussianity of estimation errors and state evolution (SE) in GMAMP. The proposed GMAMP is universal since the existing AMP, convolutional AMP, orthogonal/vector AMP, GVAMP, and memory AMP (MAMP) are its special instances. More importantly, we provide a principle toward building new advanced AMP-type algorithms based on the proposed GMAMP framework. As an example, we construct a Bayes-optimal GMAMP (BO-GMAMP) algorithm, which adopts a memory match filter estimator to suppress the linear interference, and thus its complexity is comparable to GAMP. Furthermore, we prove that the SE of BO-GMAMP with optimized parameters converges to the same fixed point as that of the high-complexity GVAMP. In other words, BO-GMAMP achieves the replica minimum (i.e., potential Bayes-optimal) mean square error (MSE) if its SE has a unique fixed point. Finally, simulation results are provided to validate the accuracy of the theoretical analysis.
登录
查看更多内容
DOI：
10.48550/arxiv.2206.11680
发表时间：
2022-06
期刊：
2022 IEEE International Symposium on Information Theory (ISIT)
影响因子：
--
作者：
Lei Liu;Shansuo Liang;L. Ping
通讯作者：
Lei Liu;Shansuo Liang;L. Ping
DOI：
10.1109/isit45174.2021.9518062
发表时间：
2019-01
期刊：
2021 IEEE International Symposium on Information Theory (ISIT)
影响因子：
--
作者：
Lei Liu;C. Liang;Junjie Ma;L. Ping
通讯作者：
Lei Liu;C. Liang;Junjie Ma;L. Ping
DOI：
10.1109/jsait.2020.2986321
发表时间：
2020
期刊：
IEEE Journal on Selected Areas in Information Theory
影响因子：
--
作者：
Pandit, Parthe;Sahraee-Ardakan, Mojtaba;Rangan, Sundeep;Schniter, Philip;Fletcher, Alyson K.
通讯作者：
Fletcher, Alyson K.
具有一般不变随机矩阵的伊辛模型TAP方程的求解理论
DOI：
10.1088/1751-8113/49/11/114002
发表时间：
2015
期刊：
Journal of Physics A: Mathematical and Theoretical
影响因子：
--
作者：
M. Opper;Burak Çakmak;O. Winther
通讯作者：
O. Winther
通过近似消息传递的半参数广义线性模型的高维渐近
DOI：
--
发表时间：
2022
期刊：
影响因子：
--
作者：
澤谷 一磨;植松 良公;今泉 允聡
通讯作者：
今泉 允聡