Gaussian Mixture Variational Autoencoder for Semi-Supervised Topic Modeling
Gaussian Mixture Variational Autoencoder for Semi-Supervised Topic Modeling
复制标题
用于半监督主题建模的高斯混合变分自动编码器
DOI：
10.1109/access.2020.3001184
复制
发表时间：
2020-06
期刊：
影响因子：
3.9
通讯作者：
Zhang Yinghua
中科院分区：
文献类型：
--
作者：
Zhou Cangqi;Ban Hao;Zhang Jing（张静）;Li Qianmu;Zhang Yinghua
主题模型被广泛用于总结文档语料库。变分自编码器（VAE）的最新进展使主题建模的黑盒推理方法得以发展，以减轻经典统计推理的缺点。现有的基于VAE的方法大多假设隐变量的近似后验为单峰高斯分布，这限制了隐空间编码的灵活性。此外，无监督体系结构阻碍了在许多应用程序中普遍存在的额外标签信息的合并。本文提出了一种基于VAE框架的半监督主题模型。我们假设文档被建模为类的混合，类被建模为潜在主题的混合。隐空间采用多模态高斯混合模型。组件参数和混合权值分别编码。这些权重与部分标记的数据一起，也有助于分类器的训练。在高斯混合假设和半监督VAE框架下推导了目标。建议框架的模块已适当指定。在三个基准数据集上进行的实验表明，与几个竞争基线相比，我们的方法是有效的。
Topic models are widely explored for summarizing a corpus of documents. Recent advances in Variational AutoEncoder (VAE) have enabled the development of black-box inference methods for topic modeling in order to alleviate the drawbacks of classical statistical inference. Most existing VAE based approaches assume a unimodal Gaussian distribution for the approximate posterior of latent variables, which limits the flexibility in encoding the latent space. In addition, the unsupervised architecture hinders the incorporation of extra label information, which is ubiquitous in many applications. In this paper, we propose a semi-supervised topic model under the VAE framework. We assume that a document is modeled as a mixture of classes, and a class is modeled as a mixture of latent topics. A multimodal Gaussian mixture model is adopted for latent space. The parameters of the components and the mixing weights are encoded separately. These weights, together with partially labeled data, also contribute to the training of a classifier. The objective is derived under the Gaussian mixture assumption and the semi-supervised VAE framework. Modules of the proposed framework are appropriately designated. Experiments performed on three benchmark datasets demonstrate the effectiveness of our method, comparing to several competitive baselines.
登录
查看更多内容
DOI：
--
发表时间：
2005
期刊：
--
影响因子：
--
作者：
A. McCallum;A. Corrada-Emmanuel;Xuerui Wang
通讯作者：
A. McCallum;A. Corrada-Emmanuel;Xuerui Wang
中国
DOI：
10.1017/s0021911800113920
发表时间：
1961
期刊：
The Journal of Asian Studies
影响因子：
--
作者：
Tineke d’haeseleer
通讯作者：
Tineke d’haeseleer
DOI：
10.24963/ijcai.2017/588
发表时间：
2017-08
期刊：
--
影响因子：
--
作者：
Guangxu Xun;Yaliang Li;Wayne Xin Zhao;Jing Gao;Aidong Zhang
通讯作者：
Guangxu Xun;Yaliang Li;Wayne Xin Zhao;Jing Gao;Aidong Zhang
DOI：
--
发表时间：
2012-04
期刊：
--
影响因子：
--
作者：
Jagadeesh Jagarlamudi;Hal Daumé;Raghavendra Udupa
通讯作者：
Jagadeesh Jagarlamudi;Hal Daumé;Raghavendra Udupa
DOI：
--
发表时间：
2013-03
期刊：
--
影响因子：
--
作者：
Nikolaos Aletras;Mark Stevenson
通讯作者：
Nikolaos Aletras;Mark Stevenson