课题基金基金详情
无指导汉语文本挖掘的统计模型和统计推断
结题报告
批准号:
11401338
项目类别:
青年科学基金项目
资助金额:
22.0 万元
负责人:
邓柯
依托单位:
学科分类:
A0403.贝叶斯统计与统计应用
结题年份:
2017
批准年份:
2014
项目状态:
已结题
项目参与者:
Jun S· Liu、汪子栋
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
近年来,大规模数字化汉语文本可以方便地收集到。对这些文本的自动处理和信息提取有迫切需求。长期以来,汉语文本挖掘的理论和方法研究主要在计算机科学领域展开,已取得诸多成果。但是,现有方法大都是有指导的方法,需要使用 “语料库” 作为训练数据。但在许多实际问题中,获取有代表性的“语料库”非常困难。另外,现有方法大都将分词、未登陆词识别和命名实体分类等关键问题分开处理。但这些问题实际上是相互缠绕,互为因果的。将它们整合在一起联合处理是解决问题的最佳途径。但现有文本分析技术大都无法实现这一点。本项目提出了一种基于统计模型和统计推断来分析汉语文本的新方法。该方法将汉语文本挖掘的几大关键问题纳入一个系统的统计模型下做整体处理,克服了已有方法的重大缺陷。新方法有很强的自主学习能力,可以在没有训练数据和语法规则指导的情况下,运用统计学原理自主发现文本的用词和语法规律,并利用这些规律完成文本分析任务。
英文摘要
In recent years, large quantities of digitalized Chinese texts can be easily collected. There is great appeal in developing text mining tools to automatically extract information from these data. In past, most theoretical and methodological studies on Chinese text mining are done by computer scientists, who have developed many powerful methods for supervised learning with labeled corpus as training data. In practice, however, it’s very often that no training data are available for a practical problem. Moreover, current methods usually deal with key problems in Chinese text mining, such as text segmentation, word discovery and named entity classification, separately. However, these problems in fact are entangled together, and it’s not quite right and usually inefficient to attack them one by one independently. Instead, joint analysis is the most reasonable and efficient solution to Chinese text mining. Unfortunately, almost no available methods can achieve joint analysis properly. Here, we propose a solution to this challenging problem by introducing novel statistical models and corresponding inference algorithms. The new solution incorporates key problems of Chinese text mining into a joint model, and thus overcomes a major limitation of many other methods. More importantly, the new method can discover patterns on word usage and grammar structure from texts based on statistical principles without the help from training data and pre-given grammar rules, and use the discovered patterns to improve the analysis.
近年来,大规模数字化汉语文本可以方便地收集到。对这些文本的自动处理和信息提取有迫切需求。长期以来,汉语文本挖掘的理论和方法研究主要在计算机科学领域展开,已取得诸多成果。但是,现有方法大都是有指导的方法,需要使用 “语料库” 作为训练数据。但在许多实际问题中,获取有代表性的“语料库”非常困难。另外,现有方法大都将分词、未登陆词识别和命名实体分类等关键问题分开处理。但这些问题实际上是相互缠绕,互为因果的。将它们整合在一起联合处理是解决问题的最佳途径。但现有文本分析技术大都无法实现这一点。..本项目提出了一种基于统计模型和统计推断来分析汉语文本的新方法。该方法将汉语文本挖掘的几大关键问题纳入一个系统的统计模型下做整体处理,克服了已有方法的重大缺陷。新方法有很强的自主学习能力,可以在没有训练数据和语法规则指导的情况下,运用统计学原理自主发现文本的用词和语法规律,并利用这些规律完成文本分析任务。本项目的研究给出实现该方法的数理模型和相关理论,编写了高效率的程序,并申请了国家发明专利。..相关方法在医疗文本、古代文献、政务文本分析等方面的应用中,展示出了极大的应用价值。对提升我国在大数据时代的文本处理和信息分析能力有着潜在的战略意义。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
On the unsupervised analysis of domain-specific Chinese texts
特定领域中文文本的无监督分析
DOI:10.1073/pnas.1516510113
发表时间:2016-05-31
期刊:PROCEEDINGS OF THE NATIONAL ACADEMY OF SCIENCES OF THE UNITED STATES OF AMERICA
影响因子:11.1
作者:Deng,Ke;Bol,Peter K.;Liu,Jun S.
通讯作者:Liu,Jun S.
Fast Parameter Estimation in Loss Tomography for Networks of General Topology
一般拓扑网络损耗层析成像中的快速参数估计
DOI:10.1214/15-aoas883
发表时间:2016
期刊:Annuals of Applied Statistics
影响因子:--
作者:Ke Deng;Yang Li;Weiping Zhu;Jun S. Liu
通讯作者:Jun S. Liu
High-dimensional genomic data bias correction and data integration using MANCIE.
使用 MANCIE 进行高维基因组数据偏差校正和数据集成
DOI:10.1038/ncomms11305
发表时间:2016-04-13
期刊:Nature communications
影响因子:16.6
作者:Zang C;Wang T;Deng K;Li B;Hu S;Qin Q;Xiao T;Zhang S;Meyer CA;He HH;Brown M;Liu JS;Xie Y;Liu XS
通讯作者:Liu XS
DIMM-SC: a Dirichlet mixture model for clustering droplet-based single cell transcriptomic data
DIMM-SC:用于聚类基于液滴的单细胞转录组数据的狄利克雷混合模型
DOI:10.1093/bioinformatics/btx490
发表时间:2018-01-01
期刊:BIOINFORMATICS
影响因子:5.8
作者:Sun, Zhe;Wang, Ting;Chen, Wei
通讯作者:Chen, Wei
复杂空间上具有特殊约束的Monte Carlo方法
  • 批准号:
    12371269
  • 项目类别:
    面上项目
  • 资助金额:
    43.5万元
  • 批准年份:
    2023
  • 负责人:
    邓柯
  • 依托单位:
医疗文本大数据分析中的统计学模型和方法
  • 批准号:
    11771242
  • 项目类别:
    面上项目
  • 资助金额:
    48.0万元
  • 批准年份:
    2017
  • 负责人:
    邓柯
  • 依托单位:
国内基金
海外基金