汉语全文词义标注关键技术研究
批准号:
61272221
项目类别:
面上项目
资助金额:
81.0 万元
负责人:
曲维光
依托单位:
学科分类:
信息检索与社会计算
结题年份:
2016
批准年份:
2012
项目状态:
已结题
项目参与者:
陈小荷、王雷、周俊生、朱学锋、李斌、梁社会、徐润华、孙玉霞、狄颖
中文摘要
文本的全文词义标注是文本内容理解的前期重要的基础性工作。目前汉语的全文词义标注多关注多义词的消歧任务,仍然无法解决未登录词的词义预测、词典中缺失义项词语的义项标注、成语及惯用语、多词表达的义项标注及语义知识库的完备性等问题。本申请拟从以下几个方面进行研究:(1)将现有词义资源整合,形成完善的词义标注体系,并制定标注规范;(2)针对现有语义词典义项划分的不完善,文本中出现的义项可能在语义词典中缺失的问题,建立词义动态发现模型,自动发现文本中词语的确切词义;(3)构建成语及惯用语知识库和多词表达知识库,扩充词义词典的规模;(4)建立规则与统计相结合的未登录词语词义预测模型,解决未登录词义项标注的难题;(5)综合利用上述研究成果,建立高质量的汉语全文词义标注平台;(6)利用全文词义标注平台,对大规模语料进行词义标注,并利用语料校对技术进行后处理,形成高质量的词义标注语料。
英文摘要
All-word sense tagging of texts serves as the important prelude of text understanding. Currently all-word sense tagging of Chinese texts focuses mainly on the WSD tasks of polysemous words and cannot provide solutions to word sense predictions of OOVs, word sense tagging of lexical entries with incomplete senses, word sense tagging of idiomatic expressions and multi-word expressions, the construction of word sense knowledge bases, etc. Our application aims to conduct research on the following topics: .(1)To integrate available resources on word sense to form a complete system for word sense tagging and stipulate relevant guidelines; .(2)For the imperfection of word sense classification in lexicons, i.e. the incompletion of lexical senses in texts, we plan to establish dynamic models for identifying word senses and finding correct ones for them that appear in texts; .(3) To construct knowledge bases of idiomatic expressions and multi-word expressions for word sense tagging; .(4)To establish a combined rule-based and statistics-based model for OOV word sense prediction so as to solve the problem of OOV word sense tagging; .(5)Based on the above research, we also plan to establish a state-of-the-art platform of Chinese all-word sense tagging; .(6)Based on our platform, we plan to tag large-scale corpora and conduct post-processing with corpus-correcting technique in order to obtain quality word-sense-tagged corpora.
本课题针对汉语全词标注研究的关键技术以及相关的语言资源的建设进行了系列探索研究,对标注规范的制定以及词义资源的整合与完善、词义消歧算法研究与实施、多词表达相关问题研究、词义预测等方面进行了全面的研究,取得了系列成果,并建立全文词义标注平台,对大规模语料进行词义标注。课题一直按照项目预定的计划进行,达到了预期的目标,超额完成了项目预期的成果。 .研究工作主要包括以下部分:.1.对标注规范的制定以及词义资源的整合与完善:进行了同义词和上下位词的抽取研究,并抽取出更为完整的同义词和上下位词词典,为后续的研究提供了良好的资源。.2.多词表达相关问题研究:多词表达研究主要包括N+VN和VN+N类型多词表达知识库的抽取及其应用,N+N类型多词表达的句法类型分类及其释义研究。该研究使得词义标注的研究从单词级别向多词序列扩展。.3.词义预测方法研究:构建基于重叠字模型,基于字-类别关联模型,基于规则模型以及各个模型集成,并将词嵌入引入词义预测,提出基于词向量、词性过滤和词语后缀联合模型,并根据上述模型的互补性进行多模型的级联,取得了很好的词义预测效果。.4.词义消歧算法研究与实施:统计得出SKCC中多义词总数为3052个,并对这些多义词进行了全面的义项划分。针对训练语料的稀疏性,提出基于主动学习的词义消歧方法,较好地完成了词义消歧任务。.5.全文词义标注平台的建设:平台具有词语义项查询、多义词训练实例分布查询、人工标注、词义消歧及辅助校对等模块。基于该平台,对2000年人民日报语料进行了词义标注,验证了平台的高效性。.本课题的主要研究成果包括:发表期刊论文35篇,会议论文29篇。其中,SCI检索论文1篇,EI检索论文24篇,CSSCI检索论文2篇,在国际顶级会议IJCAI论文2篇, ACL, EMNLP各发表1篇论文。建立了大规模的同义词、上下位词的词典和大规模语言标注语料库。培养博士研究生毕业3名、硕士研究生12名,指导本科毕业生20名。1名本科毕业生获得江苏省优秀毕业论文三等奖。 3名本科毕业生获得南京师范大学优秀百篇本科毕业论文。1名研究生获得南京师范大学优秀硕士论文。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
登录
查看更多内容
DOI:
10.13209/j.0479-8023.2016.009
发表时间:
2016-01
期刊:
北京大学学报(自然科学版)
影响因子:
--
作者:
[戴茹冰, 李斌, 周俊生, 曲维光]
通讯作者:
曲维光
DOI:
--
发表时间:
2013
期刊:
中文信息学报
影响因子:
--
作者:
[徐润华, 曲维光, 陈小荷, 王东波]
通讯作者:
王东波
DOI:
--
发表时间:
2014
期刊:
International Journal of Knowledge and Language Processing
影响因子:
--
作者:
[Lingling Mu, Xiaobo Feng, Haoshi Wang, Hongying Zan]
通讯作者:
Hongying Zan
DOI:
--
发表时间:
2015
期刊:
中文信息学报
影响因子:
--
作者:
[陈万礼, 昝红英, 吴泳钢]
通讯作者:
吴泳钢
DOI:
--
发表时间:
2014
期刊:
数据采集与处理
影响因子:
--
作者:
[宋文杰, 周俊生, 曲维光]
通讯作者:
曲维光
共 35 条
汉语抽象意义表示关键技术研究
-
批准号:61772278
-
项目类别:面上项目
-
资助金额:65.0万元
-
批准年份:2017
-
负责人:曲维光
-
依托单位:
汉语隐喻理解关键技术研究
-
批准号:60773173
-
项目类别:面上项目
-
资助金额:30.0万元
-
批准年份:2007
-
负责人:曲维光
-
依托单位:
国内基金
海外基金