汉语缩略语识别以及歧义消解技术研究

缩略语是指较长的一个或者多个词通过压减其中的一些字并通过变序或数字总括而形成的意义不变、长度较短的语言单元。压缩前的形式，称为完整形式（full form）。. 缩略语是新词的主要来源之一，而新词对自然语言处理中的词性标注，词义确定与消歧，命名实体识别及共指消解等造成了严重障碍；在中文信息处理中，还造成了分词的极大困难。. 本课题围绕汉语缩略语问题开展研究，探讨了缩略语处理的若干关键技术。主要包括：(1)研究了缩略语的基本特点和构成规律，从序列化的角度，提出了从完整形式生成缩略语的二种模型，并对二种模型给出了形式化描述；(2)构建了汉语缩略语的语言资源，即，带切分标注的完整形式-缩略语对照表以及带缩略语与完整形式对应关系的语料标注，对照表含有9524对关系，标注语料含1998年2个月的人民日报；(3)研究了缩略语的预测方法。根据缩略语的构成规律提出了基于不同单位（基于字、基于词）的序列标注方法和基于感知器的重排序模型；(4)研究了缩略语的挖掘，提出了从缩略语出发，在真实上下文中发掘其完整形式的方法，以及从完整形式出发，预测缩略语并利用Web信息验证最终缩略语的方法。通过挖掘可以自动构建完整形式-缩略语对照表；(5)研究了快速的序列标注方法，并在汉语自动切词中融入了新词发现的功能，有助于识别上下文中新的缩略语；(6)针对汉语实体识别和共指消解经常受到缩略语干扰的问题，研究了实体共指消解技术，包括文本内实体共指和文本间的实体共指。. 三年来，项目组超额完成了预期的任务，申请专利2项，共发表论文26篇，其中，期刊论文10篇（包括1篇录用待发表），会议论文16篇。会议论文中的国际顶级会议论文8篇，包括2篇ACL2012，1篇SIGKDD2012，1篇EMNLP2012，4篇COLING（2010,2012）。构建了一定规模的缩略语资源，开发了快速的序列标注模块；参加了Sighan-2010的2个评测（实体消歧和词义归纳），TAC的KBP评测和CONLL-shared的评测。