基于复杂后验分布的变分自编码器模型、算法、理论及应用研究

This project focuses on the model, algorithm, theory, and application of variational autoencoder (VAE) with complex posterior distribution. The existing VAE models are mostly based on the Gaussian posterior assumption, which leads to loose evidence lower bound (ELBO) and affects the model’s performance. To this issue, this project adopts more complex and flexible posterior to construct the VAE model with tighter ELBO, and then designs optimization algorithm, provides theoretical analysis and application verification. Specifically, (1) based on reparameterization and implicit reparameterization gradient strategy, we develop algorithms for the models with given simple or complex posterior distribution; (2) we construct the flexible posterior based on normalizing flow, and then develop effective algorithm; (3) based on adversarial learning strategy and Stein identity, we develop two feasible algorithms to solve the VAE model with implicit posterior; (4) based on VAE, we develop new models and algorithms to deal with hyperspectral image restoration and classification problem. The desired achievements will build a new framework of VAE model and algorithm and can be directly applied to the application in image processing, such as hyperspectral image restoration and hyperspectral image classification.

本项目聚焦复杂后验分布下的变分自编码器模型、算法、理论及应用研究。现有变分自编码器模型大都基于后验分布为高斯分布的假设，这导致所构建似然下界与真实似然之间差距很大，由此影响模型的性能。本项目拟对此问题展开系统研究，通过采用更复杂、灵活的后验分布来构建具有更紧下界的模型，同时设计求解算法，并提供理论分析和应用验证。具体包括：（1）基于隐式重参数化梯度策略，针对一般或复杂后验分布模型，设计求解算法并提供理论分析；（2）基于归一化流方法，建立具有灵活后验分布的模型，设计求解算法，并提供归一化流的理论分析；（3）基于对抗学习原理和Stein等式，针对隐式后验分布模型，设计求解算法，并研究梯度估计的统计一致性理论；（4）针对高光谱图像恢复和分类等典型问题，基于变分自编码器构造新的模型及其算法。项目所获结果将建立起一套新的变分自编码器模型框架，并可直接应用于高光谱图像恢复与分类等图像处理问题。

本项目聚焦复杂后验分布下的变分自编码器模型、算法、理论及应用研究。在理论和方法层面，建立了较为完整的针对复杂后验分布下的变分自编码器学习框架；在应用层面，将所提出的方法论成功应用于图像处理问题。主要研究内容包括如下四个方面：(1) 基于非高斯后验分布的变分自编码器模型。从理论和方法层面上，针对现有变分自编码器模型的隐变量后验假设局限于高斯分布的问题，提出了基于非高斯后验分布的变分自编码器模型，从而能够更好的适应实际数据需求，缩小所优化似然函数下界与真实似然下界的距离。(2) 基于归一化流的变分自编码器模型。基于归一化流的策略，通过构建可逆地神经网络，能够有效地建模未知隐变量地后验分布，此时所优化目标函数是准确的数据似然，显著提升了优化目标函数的准确性，也避免了人为主观设置隐变量后验分布的问题。(3) 基于隐式后验分布的变分自编码器模型。在假设后验分布为隐式分布的情况下，建立隐式变分自编码器模型，并设计优化算法求解。基于生成对抗网络中的对抗机制，用判别网络来估计后验分布与先验分布的密度比率，由此建立新模型的目标函数。进一步，在仅获得隐变量样本情况下，提出一种采用Stein 等式来近似估计变分参数的梯度的模型优化方法，显著提升了模型优化的精度。(4) 基于复杂后验分布变分自编码器模型的图像处理应用研究。将所提针对复杂后验分布的变分自编码器模型变种应用到了若干典型图像处理问题中，取得了显著优于现有方法的性能表现。这些典型应用包括：高光谱图像分割、高光谱图像去噪、遥感图像全色锐化、核磁共振图像引导超分、自然图像深度图超分等。

内容获取失败，请点击重试