Combine Topic Modeling with Semantic Embedding: Embedding Enhanced Topic Model
Combine Topic Modeling with Semantic Embedding: Embedding Enhanced Topic Model
复制标题
将主题建模与语义嵌入相结合：嵌入增强的主题模型
DOI：
10.1109/tkde.2019.2922179
复制
发表时间：
2020-12
影响因子：
8.9
通讯作者：
Zhikang Xu
中科院分区：
文献类型：
--
作者：
Peng Zhang;Suge Wang;Deyu Li;Xiaoli Li;Zhikang Xu
主题模型和词嵌入反映了文本语义学的两个视角。主题模型通过利用文档内和文档间的词搭配模式将文档映射到主题分布空间，而词嵌入通过利用上下文窗口中的局部词搭配模式将词表示在连续的嵌入空间中。显然，这两种模式是互补的。在本文中，我们提出了一种新的集成框架，联合收割机结合这两种表示方法，其中主题信息可以传输到相应的语义嵌入结构。在此框架的基础上，我们构建了一个嵌入增强的主题模型（EETM），它可以改善主题建模和生成主题嵌入，利用词嵌入。大量的实验结果表明，EETM可以学习高质量的文档表示，跨多个数据集的常见文本分析任务，这表明它是非常有效的合并主题模型与词嵌入。
Topic model and word embedding reflect two perspectives of text semantics. Topic model maps documents into topic distribution space by utilizing word collocation patterns within and across documents, while word embedding represents words within a continuous embedding space by exploiting the local word collocation patterns in context windows. Clearly, these two types of patterns are complementary. In this paper, we propose a novel integration framework to combine the two representation methods, where topic information can be transmitted into corresponding semantic embedding structure. Based on this framework, we construct a Embedding Enhanced Topic Model (EETM), which can improve topic modeling and generate topic embeddings by leveraging the word embedding. Extensive experimental results show that EETM can learn high-quality document representations for common text analysis tasks across multiple data sets, indicating it is very effective for merging topic models with word embeddings.
登录
查看更多内容
DOI：
10.1109/tkde.2017.2733530
发表时间：
2017-11
影响因子：
8.9
作者：
Gui H;Liu J;Tao F;Jiang M;Norick B;Kaplan L;Han J
通讯作者：
Han J
DOI：
10.1109/tkde.2016.2625790
发表时间：
2017-02
影响因子：
8.9
作者：
Su-Jin Shin;Il-Chul Moon
通讯作者：
Su-Jin Shin;Il-Chul Moon
DOI：
--
发表时间：
2017-02
期刊：
ArXiv
影响因子：
--
作者：
Jarvan Law;Hankui Zhuo;Junhua He;Erhu Rong
通讯作者：
Jarvan Law;Hankui Zhuo;Junhua He;Erhu Rong
DOI：
--
发表时间：
2010-07
期刊：
--
影响因子：
--
作者：
Joseph P. Turian;Lev-Arie Ratinov;Yoshua Bengio
通讯作者：
Joseph P. Turian;Lev-Arie Ratinov;Yoshua Bengio
DOI：
10.5555/1953048.2078186
发表时间：
2011-02
期刊：
ArXiv
影响因子：
--
作者：
R. Collobert;J. Weston;L. Bottou;Michael Karlen;K. Kavukcuoglu;Pavel P. Kuksa
通讯作者：
R. Collobert;J. Weston;L. Bottou;Michael Karlen;K. Kavukcuoglu;Pavel P. Kuksa