高能物理数据分析的Hadoop/HBASE平台研究
结题报告
批准号:
11375223
项目类别:
面上项目
资助金额:
92.0 万元
负责人:
孙功星
学科分类:
A2804.粒子探测技术
结题年份:
2017
批准年份:
2013
项目状态:
已结题
项目参与者:
石京燕、孙永昭、闫晓飞、阚博文、臧冬松、霍菁、雷晓凤、李强、艾小聪
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
客服二维码
微信扫码咨询
中文摘要
高能物理数据累积越来越多,传统的"数据到计算任务"计算模式受到了很大的挑战,Appache等组织的Hadoop项目,开发了HDFS/Hbase及Mapreduce并行数据处理框架,实现了"计算任务到数据"的全新计算模式,受到业界及科学界的广泛关注和使用,取得了巨大的成功。本申请利用开源软件HDFS、Mapreduce,以及物理事例级的索引数据库Hbase,实现高能物理数据分析的"数据到计算任务"转变,形成新型的高能物理数据处理平台;研究高能物理DST的事例存储方式,重新组织事例的存储结构,克服当前HDFS系统随机访问的问题;利用SOA的技术封装现有的高能物理软件,使其与HDFS/Hbase及MapReduce能无缝对接;研究实现现有的集群计算系统同Hadoop系统的资源管理、集成及共享。项目目标是在Hadoop开源软件基础上建立新型的高能物理分析平台,可以极大提高物理分析效率。
英文摘要
As HEP data volume increasing, the traditional way of data processing, 'data to computing task', is facing more and more challenges, a new computing model, 'computing task to data', has been developed by Appache, including HDFS/Hbase components and Mapreduce programming model, and is attracting more and more attention from enterpises and scientific communities, and gains great successes in many real use cases. But in High Eneregy Physics, the Hadoop just is used as Storage Elements in CMS experiment in U.S, a very limited success.Therefore the project plans to do the following research, including build a new platform of data analysis to change into 'computing job to data ' using HDFS and MapReduce, adopt Hbase as index NO-SQL database of event-level TAG, explore the new physical analysis platform,'computing task to data'. Investigate data structure and permanent starage,re-organize the event strucure to resolve key issue of HDFS to HEP data analysis, enable HEP software to run on HDFS/Hbase platform smoothly using SOA technology,integrate HDFS/Hbase and existing Torque job management system using Mesos open source software. The ultimate goal of the project will build a fully new computing platform to speed up HEP data analysis, and provide references to other similar sciences.
高能物理数据累积越来越多,传统的“数据到计算任务”计算模式受到了很大的挑战,Appache等组织的Hadoop项目,开发了HDFS/Hbase及Mapreduce并行数据处理框架,实现了“计算任务到数据”的全新计算模式,受到业界及科学界的广泛关注和使用,取得了巨大的成功。本项目利用开源软件HDFS、Mapreduce,实现高能物理数据分析的“数据到计算任务”转变,改进原先仅支持数据流访问的机制为支持POSIX语义的访问,形成新型的通用高能物理数据处理平台;同时,利用物理事例级的索引数据库Hbase,建立了高能物理DST的事例新型的存储结构以支持快速索引,也可以通过Tag数据快速过滤大量不感兴趣的事例;利用SOA的技术在现有的高能物理软件Guadi框架增加Hbase的访问模块,使其与HDFS/Hbase及MapReduce能无缝对接;研究实现现有的集群计算系统同Hadoop系统的资源管理、集成及共享。该项目已经为大型项目LHHASO建立了120CPU核芯和180TB存储的新型Hadoop计算系统,以及在BESIII实验上建立了HBase新型的高能物理分析平台,结果显示新型的Hadoop/Hbase平台可以极大提高物理分析效率。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:2016
期刊:计算机工程
影响因子:--
作者:雷晓凤;李强;孙震宇;孙功星
通讯作者:孙功星
DOI:--
发表时间:2014
期刊:核电子学与探测技术
影响因子:--
作者:霍菁;石京燕;孙功星;阚博文
通讯作者:阚博文
DOI:doi:10.1088/1742-6596/513/3/032044
发表时间:2014
期刊:Journal of Physics: Conference Series
影响因子:--
作者:孙功星
通讯作者:孙功星
BESIII Physical Analysis on Hadoop Platform
Hadoop 平台上的 BESIII 物理分析
DOI:10.1088/1742-6596/513/3/032044
发表时间:2014
期刊:Journal of Physics: Conference Series
影响因子:--
作者:孙功星
通讯作者:孙功星
DOI:--
发表时间:2016
期刊:计算机工程
影响因子:--
作者:李强;孙震宇;雷晓凤;孙功星
通讯作者:孙功星
消息通信和内存计算融合的高能物理AI数据处理编程模型研究
面向高能物理分波分析方法的内存计算关键技术研究
国家网格平台上BESIII实验的计算环境研究
国内基金
海外基金