基于半监督结构化学习的跨语言映射研究

在许多自然语言处理任务中，往往受到语料资源的限制而难以发展高精度的统计方法。为了减少对标注数据的依赖，本项目提出了关于自然语言处理的若干半监督学习方法，主要研究内容包括：（1）将跨语言映射问题转换为半监督结构化学习问题，并建立符合问题特点的模型；（2）对已有半监督方法在结构化数据上加以推广，通过在新的问题表示空间上利用少量有标记数据进行参数细调，同时将随机梯度下降思想引入到相关半监督学习框架中并对随机梯度下降方法进行了改进；（3）将资源充分语言的相关知识以多种关联形式迁移到新语言的知识学习中，改进了从可比较语料中抽取同义词对的性能。.在研究内容的第一方面，本项目分别进行了跨语言映射的半监督结构化学习框架和跨语言映射的噪声可学习性问题及去噪算法的研究。提出了基于协同训练的半监督跨语言映射算法和基于标签传播的半监督跨语言映射算法，实验表明协同训练算法在目标语言词性标注的性能上达到81.14%，比同类最好算法提高了近2个百分点；而标签传播算法在词性标注跨语言映射上性能从81.78%提升至83.28%。将二类分类问题的噪声学习理论推广到多类上，得到多类分类问题的噪声可学习性理论。证明了多类分类任务的噪声PAC可学习性和生成式一阶序列标注模型势函数的噪声PAC可学习性，在此基础上提出了基于置信度的协同训练数据选择和基于n元词组相似度的去噪方法。.在研究内容的第二方面，提出了一种基于丰富特征的结构表示合成模型(Feature-rich Compositional Embedding Model，FCM)。该模型在ACE2005关系抽取任务测试集上取得了比基线系统高4%的性能，达到58.26%。提出了基于目标任务和语言模型的联合训练算法框架，该方法在短语嵌入学习上的实验结果超过了有监督方法，取得了当时最好性能。.在研究内容的第三方面，本项目提出了结合时序分布表示和词嵌入表示的双语词典抽取方法、基于典型关联分析（Canonical Correlation Analysis，CCA）的强制关联方法，这两种方法在相关实验上均取得了远超基线系统的性能。还提出了基于局部加权线性回归方法的双语词典抽取的方法，其实验结果相比基线系统增长了36.7%。.本项目对于跨语言映射的半监督结构化学习框架及其应用通用的自然语言结构表示的研究具有很好参考价值