An Attention-based Deep Relevance Model for Few-shot Document Filtering
An Attention-based Deep Relevance Model for Few-shot Document Filtering
复制标题
一种基于注意力的深度相关性模型，用于小样本文档过滤
DOI：
10.1145/3419972
复制
发表时间：
2020-10
期刊：
影响因子：
--
通讯作者：
Chen Haiqing
中科院分区：
文献类型：
--
作者：
Liu Bulou;Li Chenliang;Zhou Wei;Ji Feng;Duan Yu;Chen Haiqing
随着互联网上产生的大量文本信息，过滤掉不相关的信息并将其余信息组织成感兴趣的类别（例如，新出现的事件）是至关重要的。然而，监督学习文档过滤方法严重依赖于大量标记文档进行模型训练。手动识别每个类别的大量正面示例既昂贵又耗时。此外，从一个不断发展的文本源中覆盖所有类别是不现实的，该文本源涵盖了各种事件、用户意见和日常生活活动。在这篇文章中，我们提出了一种新的基于关注的深度关联模型（ADRM），该模型受到了用于特别检索的关联反馈方法的启发。ADRM通过获取一组种子词和一些与类别相关的种子文档来计算文档和类别之间的相关性得分。它基于相应的种子词和种子文档构建特定于类别的文档概念表示。具体来说，为了过滤种子文档中不相关但有噪声的信息，ADRM采用了两种类型的注意机制（即全匹配注意和最大匹配注意），并为它们生成特定类别的表示。然后设计ADRM，通过对词嵌入空间中的隐藏特征交互建模来提取相关信号。通过门控卷积处理、自关注层和关联聚合层提取相关信号。在三个真实数据集上进行的大量实验表明，ADRM始终优于现有的技术替代方案，包括传统的分类和检索基线，以及用于少量文档过滤的最先进的深度相关排序模型。我们还进行了烧蚀研究，以证明ADRM中的每个组件都有效地增强了滤波性能。进一步分析表明，ADRM在不同参数设置下具有鲁棒性。
With the large quantity of textual information produced on the Internet, a critical necessity is to filter out the irrelevant information and organize the rest into categories of interest (e.g., an emerging event). However, supervised-learning document filtering methods heavily rely on a large number of labeled documents for model training. Manually identifying plenty of positive examples for each category is expensive and time-consuming. Also, it is unrealistic to cover all the categories from an evolving text source that covers diverse kinds of events, user opinions, and daily life activities. In this article, we propose a novel attention-based deep relevance model for few-shot document filtering (named ADRM), inspired by the relevance feedback methodology proposed for ad hoc retrieval. ADRM calculates the relevance score between a document and a category by taking a set of seed words and a few seed documents relevant to the category. It constructs the category-specific conceptual representation of the document based on the corresponding seed words and seed documents. Specifically, to filter irrelevant yet noisy information in the seed documents, ADRM employs two types of attention mechanisms (namely whole-match attention and max-match attention) and generates category-specific representations for them. Then ADRM is devised to extract the relevance signals by modeling the hidden feature interactions in the word embedding space. The relevance signals are extracted through a gated convolutional process, a self-attention layer, and a relevance aggregation layer. Extensive experiments on three real-world datasets show that ADRM consistently outperforms the existing technical alternatives, including the conventional classification and retrieval baselines, and the state-of-the-art deep relevance ranking models for few-shot document filtering. We also perform an ablation study to demonstrate that each component in ADRM is effective for enhancing filtering performance. Further analysis shows that ADRM is robust under varying parameter settings.
登录
查看更多内容
DOI：
--
发表时间：
2014-12
期刊：
ArXiv
影响因子：
--
作者：
Baotian Hu;Zhengdong Lu;Hang Li;Qingcai Chen
通讯作者：
Baotian Hu;Zhengdong Lu;Hang Li;Qingcai Chen
DOI：
--
发表时间：
2012-11
期刊：
--
影响因子：
--
作者：
John R. Frank;Max Kleiman-Weiner;D. Roberts;Feng Niu;Ce Zhang;Christopher Ré;I. Soboroff
通讯作者：
John R. Frank;Max Kleiman-Weiner;D. Roberts;Feng Niu;Ce Zhang;Christopher Ré;I. Soboroff
DOI：
10.1145/2983323.2983728
发表时间：
2016-09
期刊：
Proceedings of the 25th ACM International on Conference on Information and Knowledge Management
影响因子：
--
作者：
R. Reinanda;E. Meij;M. de Rijke
通讯作者：
R. Reinanda;E. Meij;M. de Rijke
DOI：
--
发表时间：
2014-09
期刊：
--
影响因子：
--
作者：
Yaroslav Ganin;V. Lempitsky
通讯作者：
Yaroslav Ganin;V. Lempitsky
DOI：
10.1609/aaai.v29i1.9506
发表时间：
2015-01
期刊：
--
影响因子：
--
作者：
Xingyuan Chen;Yunqing Xia;Peng Jin;John A. Carroll
通讯作者：
Xingyuan Chen;Yunqing Xia;Peng Jin;John A. Carroll