Sentence Similarity Computational Model Based on Information Content
Sentence Similarity Computational Model Based on Information Content
复制标题
基于信息内容的句子相似度计算模型
DOI：
10.1587/transinf.2015edp7474
复制
发表时间：
2016-06
影响因子：
0.7
通讯作者：
Huang, Heyan
中科院分区：
文献类型：
--
作者：
Wu, Hao;Huang, Heyan
句子相似度计算是信息检索、机器翻译、文本摘要等自然语言处理应用中一个日益重要的课题，从信息论的观点来看，自然语言的本质属性是信息的载体和信息的容量可以用信息量来度量，这一点已经成功地用简单的方法用于词语相似度的计算。现有的句子相似度方法没有强调句子所包含的信息，并且它们所采用的复杂模型往往需要使用经验参数或训练参数。本文提出了一个完全无监督的句子语义相似度计算模型。它也是一个简单直接的模型，既不需要任何经验参数，也不依赖于其他NLP工具。实验结果表明，该模型所评估的句子相似度比多个竞争基线更接近人类的判断。本文还测试了外部语料的影响，不同规模的语义网络的性能，以及效率和准确率之间的关系所提出的模型。关键词：句子语义相似度，信息量，容斥原则，自然语言处理，信息检索
Sentence similarity computation is an increasingly important task in applications of natural language processing such as information retrieval, machine translation, text summarization and so on. From the viewpoint of information theory, the essential attribute of natural language is that the carrier of information and the capacity of information can be measured by information content which is already successfully used for word similarity computation in simple ways. Existing sentence similarity methods don’t emphasize the information contained by the sentence, and the complicated models they employ often need using empirical parameters or training parameters. This paper presents a fully unsupervised computational model of sentence semantic similarity. It is also a simply and straightforward model that neither needs any empirical parameter nor rely on other NLP tools. The method can obtain state-of-the-art experimental results which show that sentence similarity evaluated by the model is closer to human judgment than multiple competing baselines. The paper also tests the proposed model on the influence of external corpus, the performance of various sizes of the semantic net, and the relationship between efficiency and accuracy. key words: sentence semantic similarity, information content, inclusionexclusion principle, natural language processing, information retrieval
登录
查看更多内容
DOI：
10.1109/icsc.2007.104
发表时间：
2007-09
期刊：
International Conference on Semantic Computing (ICSC 2007)
影响因子：
--
作者：
Chenda Nou;W. Kameyama
通讯作者：
Chenda Nou;W. Kameyama
DOI：
--
发表时间：
1998-03
期刊：
Comput. Linguistics
影响因子：
--
作者：
Hinrich Schütze
通讯作者：
Hinrich Schütze
DOI：
10.1017/cbo9781139207249.009
发表时间：
2012
期刊：
--
影响因子：
--
作者：
W. Marsden
通讯作者：
W. Marsden
影响因子：
22.7
作者：
SALTON, G;WONG, A;YANG, CS
通讯作者：
YANG, CS
DOI：
10.3115/1075527.1075662
发表时间：
1992-02
期刊：
--
影响因子：
--
作者：
G. Miller
通讯作者：
G. Miller