面向海量数据的语境离群点检测技术研究
批准号:
61170180
项目类别:
面上项目
资助金额:
55.0 万元
负责人:
商琳
依托单位:
学科分类:
F06.人工智能
结题年份:
2015
批准年份:
2011
项目状态:
已结题
项目参与者:
薛冰、贾修一、张莉、胡裕靖、史颖欢、李若冰、李文凯、顾佳唯
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
语境离群点和具体的语境环境相关,而针对语境离群点的检测比一般的离群点检测更重要。本项目将研究语境离群点检测模型,着重针对分布、多模态、实时等海量数据特点,设计基于MapReduce云计算框架的并行语境离群点检测算法、基于多模态数据融合的语境离群点检测方法以及基于不同粒度的时序数据语境离群点检测方法,并将其应用在电信业务数据处理和视频图像分析中。项目将结合粗糙集、粒计算、PSO、进化计算等方法,对分布式语境离群点的数据表示、多模态数据的融合、并行数据挖掘算法设计和云计算环境下的数据集成等关键问题进行研究。项目的研究范围涉及海量数据挖掘、机器学习、粒计算等多个领域,具有广泛的实际应用价值,其在视频图像分析中的应用更具有重要的社会价值。
英文摘要
离群点检测,也称为异常检测,其目的在于找出隐含在大量数据中相对稀疏而孤立的异常数据模式。大多数情况下离群数据如果脱离了具体的环境就没有意义,所以针对语境离群点的检测就比一般的离群点检测更重要。目前语境离群点检测中比较直接的做法是先定义出语境,然后将这些语境作为先验知识应用到已有的离群点检测方法中。但现实的困难是语境属性值较难定义, 尤其在大数据时代,面对的数据呈现出分布、异构、海量等特性,各类应用更关注高维数据处理和计算能力的提高。.本项目针对海量数据语境离群点检测的关键问题,在数据预处理、多模态数据融合、并行数据挖掘算法以及异常检测这四方面展开了研究工作。在数据预处理方面,研究了决策粗糙集模型中基于最小化决策代价的优化问题,提出了基于启发式方法和粒子群优化方法的最小化决策代价的属性约简算法;研究了多目标优化问题以及粒子更新过程,提出了基于领域知识和粒子群优化算法的特征选择方法。在多模态数据融合方面,研究了新浪微博数据中文本和图像的数据特点,提出了一种基于并行融合的多模态分析方法,通过进一步波动分析,可以实现对异常或突发事件的检测;基于社交网络的多语境建模方法,通过潜在语义分析(LSA)将文本特征和图像特征分别映射到低维度语义空间,提出了一种基于融合语义特征的分类方法。在并行数据挖掘算法方面,基于Hadoop平台,从随机梯度下降类算法的并行化理论出发,提出了并行化SVM求解方法P- Pegasos;研究并行化粗糙集属性约简方法,提出了一种基于典型相关性分析(CCA)的属性融合方法,并通过属性重要度的计算,在MapReduce分布式编程框架下,实现了一种并行化粗糙集约简。在语境离群点检测应用方面,研究了视频数据中的时空特性,融合空间信息,提出改进的基于LDA的码书生成方法, 通过检测原子行为实现了视频异常检测;研究了拥挤场景的视频特征,提出了一种基于遗传编程(GP)的拥挤场景视频异常检测方法。.本项目从海量数据的特点出发,着重针对数据处理和计算能力两方面,研究了基于MapReduce云计算框架的并行数据挖掘方法、基于多模态数据融合方法以及基于决策粗糙集和进化计算的属性约简方法,并应用在视频异常检测中。项目的研究具有广泛的应用价值,其在视频行为分析中的应用更具有重要的社会价值。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.5555/2567709.2567746
发表时间:2013
期刊:J. Mach. Learn. Res.
影响因子:--
作者:Gang Niu;Bo Dai;L. Shang;Masashi Sugiyama
通讯作者:Gang Niu;Bo Dai;L. Shang;Masashi Sugiyama
On an optimization representation of decision-theoretic rough set model. International Journal of Approximate Reasoning
关于决策理论粗糙集模型的优化表示。
DOI:--
发表时间:2014
期刊:International Journal of Approximate Reasoning
影响因子:3.9
作者:Xiuyi Jia, Zhenmin Tang, Wenhe Liao, Lin Shang
通讯作者:Xiuyi Jia, Zhenmin Tang, Wenhe Liao, Lin Shang
DOI:--
发表时间:2012
期刊:模式识别与人工智能
影响因子:--
作者:陈光鹏;杨育彬;高阳;商琳
通讯作者:商琳
DOI:10.1142/s0218213013500243
发表时间:2013-08
期刊:Int. J. Artif. Intell. Tools
影响因子:--
作者:Bing Xue;Liam Cervante;L. Shang;Will N. Browne;Mengjie Zhang
通讯作者:Bing Xue;Liam Cervante;L. Shang;Will N. Browne;Mengjie Zhang
DOI:--
发表时间:2013
期刊:南京大学学报(自然科学版)
影响因子:--
作者:谢骋;商琳
通讯作者:商琳
基于Rough集的增量学习方法研究
- 批准号:60503022
- 项目类别:青年科学基金项目
- 资助金额:23.0万元
- 批准年份:2005
- 负责人:商琳
- 依托单位:
国内基金
海外基金















{{item.name}}会员


