Context-Aware Latent Dirichlet Allocation for Topic Segmentation
Context-Aware Latent Dirichlet Allocation for Topic Segmentation
复制标题
DOI：
10.1007/978-3-030-47426-3_37
复制
发表时间：
2020-04-17
期刊：
影响因子：
--
通讯作者：
Suzuki E
中科院分区：
文献类型：
--
作者：
Li W;Matsukawa T;Saigo H;Suzuki E
提出了一种基于潜在狄利克雷分配的新的生成式主题分割模型。任务是将文档划分为一系列主题连贯的片段，同时保留长主题变化点（连贯性）并保持短主题片段不被合并（显着性）。现有的模型大多是通过关键词来融合主题段，或者只对词的共现模式进行建模而不进行合并。由于许多词的多义性，使得它们在话题分配中具有很高的不确定性，因此它们很难同时达到连贯性和显著性。为了解决这一问题，我们在建模中引入了上下文中词对的主题共现，以生成更多的连贯片段，并减轻无关词对主题分配的影响。我们还设计了一个优化算法来消除生成的主题段中的冗余项。实验结果表明，我们的建议产生显着的改善，在主题连贯性和主题分割。
We propose a new generative model for topic segmentation based on Latent Dirichlet Allocation. The task is to divide a document into a sequence of topically coherent segments, while preserving long topic change-points (coherency) and keeping short topic segments from getting merged (saliency). Most of the existing models either fuse topic segments by keywords or focus on modeling word co-occurrence patterns without merging. They can hardly achieve both coherency and saliency since many words have high uncertainties in topic assignments due to their polysemous nature. To solve this problem, we introduce topic-specific co-occurrence of word pairs within contexts in modeling, to generate more coherent segments and alleviate the influence of irrelevant words on topic assignment. We also design an optimization algorithm to eliminate redundant items in the generated topic segments. Experimental results show that our proposal produces significant improvements in both topic coherence and topic segmentation.
登录
查看更多内容
影响因子：
7.5
作者：
Beeferman, D;Berger, A;Lafferty, J
通讯作者：
Lafferty, J
影响因子：
9.3
作者：
Pevzner, L;Hearst, MA
通讯作者：
Hearst, MA
BTM：短文本主题建模
DOI：
10.1109/tkde.2014.2313872
发表时间：
2014-12-01
影响因子：
8.9
作者：
Cheng, Xueqi;Yan, Xiaohui;Guo, Jiafeng
通讯作者：
Guo, Jiafeng
影响因子：
6
作者：
Blei, DM;Ng, AY;Jordan, MI
通讯作者：
Jordan, MI
影响因子：
8.5
作者：
Yang, Guangbing;Wen, Dunwei;Sutinen, Erkki
通讯作者：
Sutinen, Erkki