Deep model with neighborhood-awareness for text tagging
Deep model with neighborhood-awareness for text tagging
复制标题
具有用于文本标记的邻域感知的深度模型
DOI：
10.1016/j.knosys.2020.105750
复制
发表时间：
2020-05
影响因子：
8.8
通讯作者：
He Jun
中科院分区：
文献类型：
--
作者：
Qin Shaowei;Wu Hao;Nie Rencan;He Jun
近年来，基于深度学习的许多努力都是为了解决文本标记的问题。然而，这些工作通常忽略了考虑邻域效应，这可能有助于提高预测的准确性。为此，我们提出了一个邻域感知的文本标记深度模型（NATT）。该方法首先采用一种结合双向递归神经网络和自注意机制的神经元组件作为文本编码器，将目标文本编码为一个特征向量。然后，识别目标文档的k-最近邻文档，并使用相同的文本编码器逐个编码为特征向量。同时，一个独立的注意力模块被引入到聚合这些相邻的文件到一个特殊的特征向量，这将代表的特点，邻里。最后，将两个特征向量进行融合以匹配标签的嵌入向量。为了优化NATT模型，我们建立了两两铰链损失的目标函数，并专门开发了一种邻域感知的负采样策略来形成训练数据。在四个数据集上的实验结果表明，NATT优于一些最先进的神经模型。此外，NATT在以较少的训练时期和较少数量的最近邻获得最佳结果方面是经济的。(C)2020爱思唯尔B. V.保留所有权利。
In recent years, many efforts based on deep learning have been made to address the issue of text tagging. However, these work generally neglect to consider the neighborhood effect which may help improve the accuracy of predictions. For this, we present a neighborhood-aware deep model for text tagging (NATT). A neural component which combines bi-directional recurrent neural network and self-attention mechanism, is firstly selected as the text encoder to encode the target document into one feature vector. Then, k-nearest-neighbor documents of the target document are identified and encoded into feature vectors one by one with the same text encoder. Simultaneously, an independent attention module is introduced to aggregate these neighboring documents into a special feature vector, which will represent features of the neighborhood. Finally, the two feature vectors are fused to match the embedding vectors of tags. To optimize the NATT model, we build the objective function with pairwise hinge loss and specially develop a neighborhood-aware negative sampling strategy to form training data. Experimental results on four datasets demonstrate that NATT outperforms some state-of-the-art neural models. Additionally, NATT is economical on achieving the best results with less training epochs and a smaller number of nearest neighbors. (C) 2020 Elsevier B.V. All rights reserved.
登录
查看更多内容
DOI：
10.24963/ijcai.2019/290
发表时间：
2019-08
期刊：
--
影响因子：
--
作者：
Liang Chen;Yang Liu;Xiangnan He;Lianli Gao;Zibin Zheng
通讯作者：
Liang Chen;Yang Liu;Xiangnan He;Lianli Gao;Zibin Zheng
通过知识图上的随机游走进行面向混搭的 API 推荐
影响因子：
3.9
作者：
Xin Wang;Hao Wu;Ching Hsien Hsu
通讯作者：
Ching Hsien Hsu
影响因子：
5.6
作者：
APTE, C;DAMERAU, F;WEISS, SM
通讯作者：
WEISS, SM
影响因子：
16.6
作者：
Zhang, Shuai;Yao, Lina;Tay, Yi
通讯作者：
Tay, Yi
DOI：
10.14489/vkit.2019.12.pp.010-017
发表时间：
2016-09
期刊：
ArXiv
影响因子：
--
作者：
Sebastian Ruder
通讯作者：
Sebastian Ruder