Adversarial learning of sentiment word representations for sentiment analysis
Adversarial learning of sentiment word representations for sentiment analysis
复制标题
用于情感分析的情感词表示的对抗性学习
DOI：
10.1016/j.ins.2020.06.044
复制
发表时间：
2020-12
影响因子：
8.1
通讯作者：
Zhang Xuejie
中科院分区：
文献类型：
--
作者：
Peng Bo;Wang Jin;Zhang Xuejie
词嵌入用于将词表示为分布式特征，这可以提高情感分析任务的性能。然而，大多数词嵌入只考虑语义和句法信息，而忽略情感信息。具有相反情感极性的词可以具有相似的词嵌入（例如，happyandsadorgoodandbad），因为它们有相似的背景。为了将情感信息嵌入到词向量中，提出了一些情感嵌入方法。基于端到端架构，这些方法通常将整个句子的情感标签作为输出，并使用它们来传播更新上下文词向量的梯度。因此，如果上下文词的极性不一致，它们仍然会共享相同的梯度进行更新。为了解决这个问题，我们提出了一种用于训练情感词嵌入的对抗学习方法，其中，使用语义和情感信息来迫使生成器生成高质量的词嵌入。此外，生成器应用多头自注意来重新加权梯度，以便有效地捕获情感和语义信息。已经进行了比较实验与单词和单词级基准。实验结果表明，该方法的性能优于以往的情感嵌入训练模型。
Word embeddings are used to represent words as distributed features, which can boost the performance on sentiment analysis tasks. However, most word embeddings consider only semantic and syntactic information and ignore sentiment information. Words with opposite sentiment polarities can have similar word embeddings (e.g.,happyandsadorgoodandbad) as they have similar contexts. For incorporating sentiment information into word vectors, some approaches to sentiment embeddings are proposed. Based on the end-to-end architectures, these methods typically take the sentiment labels of whole sentences as outputs and use them to propagate gradients that update the context word vectors. Therefore, if the polarities of context words are inconsistent, they will still share the same gradient for updating. To address this, we have proposed an adversarial learning method for training sentiment word embeddings, in which the discriminator is employed to force the generator to produce high-quality word embeddings by using semantic and sentiment information. Additionally, the generator applies the multi-head self-attention to re-weight the gradients so that sentiment and semantic information are efficiently captured. Comparative experiments have been conducted with the word- and sentence-level benchmarks. The results demonstrate that the proposed method has outperformed previous sentiment embedding training models.
登录
查看更多内容
使用强度分数细化词嵌入进行情感分析
DOI：
10.1109/taslp.2017.2788182
发表时间：
2018-03-01
影响因子：
5.4
作者：
Yu, Liang-Chih;Wang, Jin;Zhang, Xuejie
通讯作者：
Zhang, Xuejie
DOI：
10.5555/1953048.2078186
发表时间：
2011-02
期刊：
ArXiv
影响因子：
--
作者：
R. Collobert;J. Weston;L. Bottou;Michael Karlen;K. Kavukcuoglu;Pavel P. Kuksa
通讯作者：
R. Collobert;J. Weston;L. Bottou;Michael Karlen;K. Kavukcuoglu;Pavel P. Kuksa
DOI：
10.3115/1075527.1075662
发表时间：
1992-02
期刊：
--
影响因子：
--
作者：
G. Miller
通讯作者：
G. Miller
DOI：
10.5555/2503308.2188396
发表时间：
2012
期刊：
J. Mach. Learn. Res.
影响因子：
--
作者：
Michael U Gutmann;Aapo Hyvärinen
通讯作者：
Michael U Gutmann;Aapo Hyvärinen
影响因子：
10.6
作者：
Zhang, Jian;Yu, Jun;Tao, Dacheng
通讯作者：
Tao, Dacheng