高能物理离线数据处理虚拟计算资源管理技术研究

批准号:
11605223
项目类别:
青年科学基金项目
资助金额:
24.0 万元
负责人:
李海波
依托单位:
学科分类:
A2804.粒子探测技术
结题年份:
2019
批准年份:
2016
项目状态:
已结题
项目参与者:
程耀东、黄秋兰、胡庆宝、姜晓巍、程振京、孙震宇、徐琪
国基评审专家1V1指导 中标率高出同行96.8%
结合最新热点,提供专业选题建议
深度指导申报书撰写,确保创新可行
指导项目中标800+,快速提高中标率
微信扫码咨询
中文摘要
随着江门中微子实验(JUNO)、高海拔宇宙线观测站(LHAASO)等实验的进行,数据量急剧增加,计算资源越来越紧张,峰值计算需求迫切。虚拟计算集群通过虚拟化技术,将物理计算集群融合成一个大的资源池,提供足够数量的虚拟机资源。然而,当前高能物理环境中包含多种实验类型作业,如何合理高效的管理与分配虚拟资源池决定着计算系统的效率。针对此问题,本项目对虚拟资源的管理与分配技术进行研究,着重研究虚拟资源提供与调度策略,研究多实验虚拟资源池管理技术、虚拟资源动态调度算法、作业优先级策略、虚拟机放置策略技术,以提高资源利用率。通过对虚拟资源管理和分配技术的研究,本项目将大幅提高虚拟计算集群的运行效率,为JUNO、LHAASO等实验早出快出高质量的物理成果奠定坚实的基础。
英文摘要
With JUNO and LHAASO experiment development, the amount of data increasing quickly, the computing resources are increasingly strained and the peak computing needs urgent. By using virtualization technology to build a virtual computing cluster, physical computing clusters fused into a large pool of resources to provide sufficient virtual machine resources. However, high-energy physics experiment environment includes multiple types of jobs currently, how to manage and allocate the virtual resource reasonably and effectively determines the efficiency of the computing system. To solve this problem, the project will focus on virtual resources and scheduling policies, and research virtual resource pool management technology, virtual resources dynamically scheduling algorithm, job priority policy, and virtual machine placement strategy technologies to improve resource utilization. Through the study of virtual resource management and allocation, the project will greatly improve the efficiency of virtual computing cluster, which helps JUNO,LHAASO and other experiment to achieve high level physics results faster and earlier.
本课题基于针对高能物理计算集群资源利用率不高的问题展开研究,使用高能所OpenStack和HTCondor构建的虚拟计算集群实际应用环境,结合高能物理计算的特点,设计并实现了一种弹性计算资源管理系统,根据HTCondor中各队列作业排队情况,动态分配计算资源。与预分配资源的静态虚拟机集群相比,最大的特点是资源分配更具有灵活性,队列资源池可根据需要弹性伸缩。目前系统已在IHEPCloud上进行了实际部署,并应用到LHAASO实验中,从实际运行情况来看,计算资源利用率相比传统的静态资源管理方式有显著地提高。
期刊论文列表
专著列表
科研奖励列表
会议论文列表
专利列表
DOI:--
发表时间:--
期刊:计算机工程与科学
影响因子:--
作者:石京燕;孙震宇;伍文静;程振京
通讯作者:程振京
Integration of Openstack cloud resources in BESIII computing cluster
BESIII计算集群中Openstack云资源的整合
DOI:10.1088/1742-6596/898/6/062033
发表时间:2017
期刊:Journal of Physics: Conference Series
影响因子:--
作者:Haibo Li;yaodong cheng;qiulan huang;Zhenjing Chen;jingyan Shi
通讯作者:jingyan Shi
Research on elastic resource management for multi-queue under cloud computing environment
云计算环境下多队列弹性资源管理研究
DOI:10.1088/1742-6596/898/9/092003
发表时间:2017-10
期刊:Journal of Physics: Conference Series
影响因子:--
作者:Cheng zhenjing;Li Haibo;Huang Qiulan;Cheng Yaodong
通讯作者:Cheng Yaodong
DOI:--
发表时间:2017
期刊:计算机工程与应用
影响因子:--
作者:程振京;李海波;黄秋兰;程耀东;陈刚
通讯作者:陈刚
面向多数据中心的LHAASO科学大数据管理系统及关键技术研究
- 批准号:--
- 项目类别:面上项目
- 资助金额:63万元
- 批准年份:2020
- 负责人:李海波
- 依托单位:
BESIII上正反超子对关联产生及其衰变的实验研究
- 批准号:11935018
- 项目类别:重点项目
- 资助金额:340万元
- 批准年份:2019
- 负责人:李海波
- 依托单位:
利用D/Ds介子半轻衰变研究a0(980)的性质
- 批准号:11875054
- 项目类别:面上项目
- 资助金额:65.0万元
- 批准年份:2018
- 负责人:李海波
- 依托单位:
Muon--electron转换过程的实验研究
- 批准号:11335009
- 项目类别:重点项目
- 资助金额:360.0万元
- 批准年份:2013
- 负责人:李海波
- 依托单位:
国内基金
海外基金
