Spark 框架下移动轨迹大数据分析的分布式建模与并行优化算法研究

批准号:
61762020
项目类别:
地区科学基金项目
资助金额:
38.0 万元
负责人:
夏大文
依托单位:
学科分类:
F0214.新型计算及其应用基础
结题年份:
2021
批准年份:
2017
项目状态:
已结题
项目参与者:
黄介武、邵艳华、潘峰、王斌锋、左智、张付霞、陆小楠、肖永菲、蔡志鹏
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
移动轨迹大数据的挖掘、分析与利用,为解决交通拥堵等城市问题提供了新思路。本项目研究Spark框架下出租车轨迹大数据分析中的分布式建模与并行优化算法,致力于解决实时性、鲁棒性和精确性问题。具体的是,搭建基于Spark的分布式存储与并行计算平台,(1)采用时空动力学分布式建模方法研究乘客出行特征,基于海量小文件处理策略提出并行关联挖掘算法多维度分析出租车运行特性,动态感知交通状况;(2)设计面向相关性分析的并行近邻优化分类器和并行预测算法,实时预测交通流量;(3)利用古典概型与极大似然估计法构建基于路段的分布式等待时间预测模型和并行时序算法,推荐最佳候车地点;(4)提出并行近邻传播优化算法和分布式差分自回归移动平均优化模型预测乘客数量,并计算到达载客点的行驶时间和建立分布式排队模型估算在载客点的等待时间,推荐最快载客路线。本项目的研究能为复杂交通网络的动态监测与预警控制提供理论依据和实用技术。
英文摘要
Mining, analysis and utilization of mobile trajectory big data provide new ideas for solving the urban issues, such as traffic congestion. In this project, we focus on the timeliness, robustness and accuracy of distributed modeling and parallel optimization algorithms in the Spark-based taxi trajectory big data deep-mining and analysis. More specifically, this project intends to build a distributed storage and parallel computing platform based on the Spark. First, we study passenger travel characteristics using spatio-temporal dynamics of distributed modeling approach, and propose a parallel association mining algorithm to analyze taxi operating characteristics in multiple dimensions based on the processing strategies associated with massive small files, thereby perceiving real-time traffic conditions. Second, we develop a parallel nearest neighbor optimal classifier and a parallel prediction algorithm using correlation analysis to forecast traffic flow in real time. Third, using the classical probability and maximum likelihood estimation methods, we establish a link-based distributed waiting time prediction model and a parallel time series algorithm to recommend the best waiting spot. Finally, we present a parallel affinity propagation optimization algorithm and a distributed autoregressive integrated moving average optimization model to predict the number of passengers. Simultaneously, we compute the arrival travel time at the waiting spot and build a distributed queuing model for estimating passenger waiting time to recommend the fastest routes for passengers. The research of this project will offer a theoretical basis and technical support for the dynamic monitoring and early warning control of complex transportation networks.
在“互联网+”到“大数据×”的数字技术时代,结合人工智能、机器学习和数据挖掘等智能计算的大数据分析已成为科学领域的研究热点,移动轨迹大数据分析正成为智慧城市(城市计算)领域的研究重点。研究解决移动轨迹大数据挖掘分析所面临的挑战,已成为政府和市民高度关注的民生问题。.本项目针对移动轨迹大数据挖掘分析的实时性、鲁棒性和精确性问题,侧重Spark框架下出租车轨迹大数据分析中的分布式建模与并行优化算法,围绕出行时空特征挖掘和运行关联特性分析、实时交通流预测和短时交通流预测、等待时间预测和最佳候车地点推荐、寻找乘客预测和最快载客路线推荐等四个方面的主要内容展开深入研究,利用大数据、数据活化和数据挖掘等理论,通过分布式建模、并行算法优化和深度学习,在移动轨迹大数据的频繁模式挖掘和关联分析、聚类分析、分类和预测、相关分析等方面发展非关系数据分析方法,深度挖掘和高效分析出租车轨迹大数据,为构建智能交通进而打造智慧城市提供决策依据和技术支撑。.本项目搭建了基于Spark移动轨迹大数据挖掘分析的分布式存储与并行计算平台,构建了分布式时空动力学模型和并行关联挖掘优化算法,设计了并行相关分析优化算法和分布式实时交通流预测系统,建立了分布式等待时间预测模型和并行聚类优化算法,提出了并行分类优化算法和分布式路径优化模型,解决了基于出租车轨迹大数据挖掘分析在复杂交通网络环境中所面临的实时性、鲁棒性和精确性问题,围绕政府、乘客和司机等交通主体高度关注的实际问题提出对策,形成了移动轨迹大数据挖掘分析的理论方法与实用技术。.本项目研究成果有利于提高移动轨迹大数据挖掘分析理论、方法与技术的实用性,对于复杂交通网络的动态监测与预警控制具有重要的理论意义和应用价值。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:10.1631/fitee.2000615
发表时间:2021-07
期刊:Frontiers of Information Technology & Electronic Engineering
影响因子:3
作者:Bihao Sun;Jinhui Hu;Dawen Xia;Huaqing Li
通讯作者:Bihao Sun;Jinhui Hu;Dawen Xia;Huaqing Li
DOI:10.1016/j.jfranklin.2019.07.018
发表时间:2019-11-01
期刊:JOURNAL OF THE FRANKLIN INSTITUTE-ENGINEERING AND APPLIED MATHEMATICS
影响因子:4.1
作者:Niu, Youcheng;Wang, Haijing;Li, Huaqing
通讯作者:Li, Huaqing
Cluster Lag Synchronization of Delayed Heterogeneous Complex Dynamical Networks via Intermittent Pinning Control
通过间歇钉扎控制实现延迟异构复杂动态网络的集群滞后同步
DOI:10.1007/s00521-018-3618-7
发表时间:2019
期刊:Neural Computing & Applications
影响因子:6
作者:Yang Fan;Li Huaqing;Chen Guo;Xia Dawen;Han Qi
通讯作者:Han Qi
A MapReduce-Based Parallel Frequent Pattern Growth Algorithm for Spatiotemporal Association Analysis of Mobile Trajectory Big Data
基于MapReduce的移动轨迹大数据时空关联分析并行频繁模式增长算法
DOI:10.1155/2018/2818251
发表时间:2018
期刊:Complexity
影响因子:2.3
作者:Xia Dawen;Lu Xiaonan;Li Huaqing;Wang Wendong;Li Yantao;Zhang Zili
通讯作者:Zhang Zili
DOI:--
发表时间:2020
期刊:大数据
影响因子:--
作者:夏大文;王林;张乾;魏嘉银;冯夫健;李华青
通讯作者:李华青
移动轨迹大数据驱动的城市交通并行监测与分布式预警研究
- 批准号:62162012
- 项目类别:地区科学基金项目
- 资助金额:37.00万元
- 批准年份:2021
- 负责人:夏大文
- 依托单位:
国内基金
海外基金
